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摘要 : 

[目的 ] 当前 ， 基 于 规则 的 知识 图 谱 推 理 方法 不 断 涌 现 ， 但 缺乏 系统 的 归 类 和 分 析 。 本 文 梳 
理 了 基于 规则 的 知识 图 谱 推 理 相关 研究 工作 。 
[方法 ] 对 相关 经 典 方 法 的 核心 思路 、 关 键 技术 和 优 缺 点 进行 盖 述 分 析 ， 并 对 不 同类 型 方法 
的 性 能 进行 比较 。 
[结果 ] 本 文 归纳 出 4 类 方法 ， 包 括 基 于 归纳 逻辑 编程 的 方法 、 基 于 概率 图 和 规则 的 方法 、 
基于 由 入 表示 和 规则 的 方法 和 基于 神经 网 络 和 规则 的 方法 。 

[局 限 ] 相关 方法 的 具体 应 用 研究 目前 还 比较 少 。 
[结论 ] 基于 规则 的 知识 图 谱 推 理 方法 通过 挖掘 底层 逻辑 规则 执行 推理 ， 泛 化 能 力 和 可 解释 
性 较 强 ， 基 于 规则 的 混合 推理 方法 在 未 来 仍 有 较 大 应 用 前 景 。 

关键 词 ， 知识 图 谱 推 理 规则 归纳 逻辑 编程 概率 图 嵌入 表示 神经 网 络 
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A Survey on Research of Rule-Based Knowledge Graph Reasoning 
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Abstract: 
[Objective] Currently, rule-based knowledge graph reasoning methods are constantly emerging, 
but there is a lack of systematic classification and analysis. This article summarizes the research 
work related to rule-based knowledge graph inference. 
[Methods] Elaborate and analyze the core ideas, key technologies, advantages and disadvantages 
of relevant classic methods, and compare the performance of different types of methods. 
[Results] This paper summarized four kinds of methods, including methods based on inductive 
logic programming, methods based on probability graphs and rules, methods based on embedding 
representation and rules, and methods based on neural networks and rules. 
There is currently relatively little research on the specific application of relevant methods. 
[Conclusions| The rule-based knowledge graph reasoning method performs inference by mining 
underlying logical rules, with strong generalization ability and interpretability. The rule-based 
hybrid reasoning method still has great application prospects in the future. 
Keywords: knowledge graph reasoning, rules, inductive logic programming, probability graph, 
embedding representation, neural network 


1 引言 


知识 表示 和 学 习 是 人 类 认识 世界 、 学 习 技能 和 做 出 决策 的 必要 手段 。 大 数据 
时 代 催 生 了 蕴藏 着 丰富 知识 的 海量 数据 , 如 何 利 用 好 这 些 知识 辅助 人 类 解决 问题 


成 为 了 大 数据 背景 下 的 一 大 难题 。2012 E, 谷歌 首次 提出 了 知识 图 谱 (Knowledge 
Graph, KG) 的 概念 ， 它 是 一 种 简单 而 有 效 的 知识 表示 方法 ， 包 含 了 丰富 的 人 类 知 
识 资源 看。 近年 来 ， 互 联网 技术 和 Web 应 用 迅速 发 展 ， 大 量 数据 被 发 布 到 互联 
网 上 ， 成 为 大 规模 知识 提取 和 知识 图 谱 构 建 的 重要 来 源 。 随 着 WordNet, 
DBpediaP!, YAGO"!, NELLI, Probasel*!fll CN-DBpedia!”!, zhishi.me!®!& [5] A Jp 
开放 知识 库 迅 独 增长 ， 知识 图 谱 已 被 广泛 用 于 支持 语义 网 络 的 实际 应 用 ， 如 推荐 
系统 四、 问答 系统 中 、 智 能 对 话 中 等 。 

根据 实体 类 型 和 要 素 的 不 同 ， 知 识 图 谱 可 以 分 为 静态 知识 图 谱 (Static 
Knowledge Graph, SKG)、 时 序 知 识 图 谱 (Temporal Knowledge Graph, TKG) 和 多 模 
态 知 识 图 谱 (Multi-Modal Knowledge Graph, MMKG) 三 类 024， 其 中 最 常见 且 研 究 
工作 最 为 密集 的 是 静态 知识 图 谱 。 大 多 数 研究 中 , 静态 知识 图 谱 在 不 与 其 他 两 类 
知识 图 谱 同 时 提 及 时 ， 通 常 简称 为 知识 图 谱 。 本 文 的 研究 对 象 为 静态 知识 图 谱 ， 
为 方便 表示 ， 本 文 之 后 出 现 所 有 的 “知识 图 谱 ” 均 指 代 “ 静 态 知 识 图 谱 ”。 

受 限于 知识 来 源 的 不 全 面 性 和 知识 抽取 过 程 中 的 偏差 , 当前 大 多 数 知 识 图 谱 
都 不 同 程度 存在 缺失 或 错误 问题 ， JE Ap VA Eg dá HE FE (Knowledge Graph 
Reasoning, KGR)BCRUSINa AL. Ani Eie dE EE T AA MA CUR SS 
推导 出 新 的 事实 的 推理 方法 ,广泛 运用 于 智能 问答 、 推 荐 系统 、 对 话 生 成 、 信 息 
提取 和 图 像 分 类 0449 等 人 工 智 能 任务 中 ， 在 军事 、 金 融 、 交 通 运 输 和 网 络 安全 等 
领域 0922 都 发 挥 着 至 关 重 要 的 作用 。 

为 实现 从 “计算 智能 ”“ 感 知 智能 ”到 “ 认 知 智能 ”的 跃 变 P]， 可 解释 人 工 智能 
(eXplainable Artificial Intelligence, XAD 在 科研 学 术 界 受到 的 关注 和 重视 程度 不 
断 增 加 ,被 视 作 人 工 智能 继续 稳步 发 展 的 必要 条 件 。 尽管 目前 研究 较 多 的 基于 分 
布 式 表示 的 知识 图 谱 推 理 方 法 2%35] 效 率 较 高 ， 但 其 在 潜在 空间 中 操作 和 模型 的 
“ 黑 盒 ”特性 ， 也 为 直观 理解 推理 依据 和 决策 过 程 带 来 了 很 大 的 挑战 。 因 此 ， 此 类 
方法 在 一 些 对 可 靠 性 要 求 较 高 的 领域 (如 军事 、 医 疗 和 信息 安全 等 ) 难 以 适用 。 

基于 规则 的 推理 方法 直接 通过 挖掘 底层 逻辑 规则 推导 出 新 的 事实 , 在 保证 推 
理 准 确 性 的 同时 ， 还 具有 较 强 的 可 解释 性 ， 能 使 用 户 更 直观 地 理解 推理 过 程 ， 为 
辅助 决策 提供 可 靠 指导 。 此 外 ,基于 规则 的 知识 推理 还 能 实现 未 出 现 过 事实 的 推 
理 ( 即 归 纳 式 推理 )。 早 期 基于 规则 的 知识 图 谱 推理 依赖 于 先 验 知识 、 硬 匹配 和 允 
历 搜索 ， 导 致 规则 的 表达 能 力 有 限 ， 扩 展 性 和 重 棒 性 较 差 ， 效 率 也 比较 低 P9。 随 
着 深度 学 习 、 强 化 学 习 P?7231 等 技术 方法 的 日 至 优越 ， 越 来 越 多 的 研究 通过 结合 这 
些 技术 进行 规则 学 习 或 利用 规则 辅助 相关 推理 方法 ,以 实现 高 效 、 准 确 、 可 迁移 、 
可 解释 的 知识 图 谱 推理 。 

ChatGPT 领衔 的 大 语言 模型 (Large Language Model, LLM) 为 知识 推理 提供 了 
JTRS, LLM 能 够 学 习 海 量 的 知识 ， 利 用 预 训练 语料库 中 丰富 的 事实 知 
识 或 外 部 数据 检索 实现 高 效 的 知识 图 谱 推 理 。 但 LLM 也 存在 受到 “ 约 
觉 "hallucination)B2 即 错误 、 混 淆 的 信息 影响 的 潜在 风险 。 学 习 可 信 的 规则 并 将 
其 作为 “指令 ”融入 大 模型 中 ,开发 基于 LLM 的 神经 -规则 混合 推理 模型 ， 以 辅助 
LLM 完成 知识 推理 ， 有 望 进 一 步 提 升 大 模型 的 可 靠 性 、 可 理解 性 和 领域 特定 适 
FATE. 

目前 ,学 者 们 已 总 结 研究 并 发 表 了 多 篇 知识 图 谱 推 理 相 关 的 综述 文章 。 其 中 ， 
文献 [12] 详 实地 梳理 归纳 了 静态 、 时 序 和 多 模 态 知识 图 谱 推 理 的 研究 工作 ; 文献 
[33] 区 分 多 样本 、 小 样本 和 单 ( 零 ) 样 本 对 静态 知识 图 谱 推 理 进 行 综 述 ， 文献 [3 和 
对 基于 神经 网 络 的 知识 图 谱 推理 方法 进行 系统 介绍 ; 文献 [35] 搜 集 总 结 了 图 神经 


网 络 应 用 于 知识 图 谱 推 理 的 方法 和 关键 技术 ; 文献 [36] 聚 焦 基 于 表示 学 习 的 知识 
图 谱 推 理 ， 归 纳 比 较 了 相关 方法 ; 文献 [23] 和 [26] 从 可 解释 的 角度 ， 梳 理 并 分 类 


对 比 了 不 同 的 知识 图 谱 推理 技术 及 其 解释 方法 ; 文献 [37] 对 基于 深度 强化 学 习 的 


知识 图 谱 推 理 研 究 进展 进行 综述 ; 文献 [38] 分 类 介绍 了 基于 符号 和 统计 的 混合 知 


WA 
H, 


则 的 知识 图 谱 推理 相关 的 文献 , 在 介绍 背景 知 


基于 归纳 逻辑 编程 的 知识 


图 谱 推 到 
于 和 财 入 表示 和 规则 的 知识 图 谱 推 到 


;文献 [40] 则 从 符号 主义 和 连接 主义 两 种 范式 的 角度 ， 综 述 了 
推理 和 神经 符号 混合 推理 相关 方法 。 
本 文 以 基于 规则 的 知识 图 谱 推理 


识 


Ayr 


谱 推理 方法 ;文献 39] 综 述 了 如 何 结合 逻辑 规则 与 嵌入 技术 进行 知识 图 谱 推 


符号 


推理 、 神 经 


方法 为 主要 调研 对 象 , 归纳 整 天 
只 和 基本 概念 的 基础 上 ,详细 阐述 
E、 基 于 概率 图 模型 和 规则 的 知识 图 谱 推 理 、 基 
LE 以 及 基于 神经 网 络 和 规则 的 知识 图 谱 推 理 方 
ik. 方法 分 类 框架 如 图 1 所 示 。 重 点 介绍 各 类 方法 中 典型 工作 的 核心 思路 、 关 键 


了 与 基于 规 


技术 和 推理 效果 ,并 对 不 同类 型 方法 进行 了 比较 分 析 , 总 结 展望 主要 挑战 和 未 来 
的 研究 方向 ， 以 期 为 下 一 步 的 研究 工作 提供 参考 借鉴 。 
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谋 入 表示 与 规则 相互 增强 的 方法 


| 
— age Oe STA 
到 1 基于 规则 的 知识 图 谱 推 理 方法 分 类 框架 
a M y 
2 背景 知识 和 概念 定义 
本 节 主 要 介绍 知识 图 谱 、 知 识 图 谱 推 理 和 基于 规则 的 知识 推 开 
识 和 基本 概念 。 


2.1 知识 图 谱 


相关 的 背景 知 


知识 图 谱 是 一 种 图 形 化 的 知识 表示 方式 ， 是 由 节点 和 边 组 成 巨型 语义 网 ， 其 
中 节点 表示 物理 世界 中 的 概念 或 实体 ， 边 表示 节点 之 间 的 拓扑 连接 和 语义 关系 。 
争 态 知识 图 谱 、 时 序 知 识 图 谱 和 多 模 态 知 识 图 谱 三 类 。 
时 序 知识 图 谱 是 指 包 含 时 间 惟 信息 的 知识 图 谱 , 多 模 态 知识 图 谱 是 指 实体 类 型 包 
含 图 片 、 文 本 等 多 模 态 数据 的 知识 图 谱 。 


文献 [12] 将 知识 图 谱 分 为 前 


知识 图 谱 通 常 


以 三 元 组 的 形式 表示 事实 ， 即 ( 头 实 体 ， 关 系 ， 尾 实体 )， 其 词 


汇 表 定义 在 模式 (也 称 为 本 体 ) 中 ， 表 明 两 个 实体 由 特定 的 关系 连接 起 来 。 例 如 ， 


(Nunez,PlayforTeam,Liverpool) 表 示 运 动员 努 涅 斯 效力 于 利物浦 足球 队 。 
TETES AE b. AREE XKG-(8£ RF), APE, RAF 5l 


表示 


实体 、 关系 和 事实 的 集合 。 三 元 组 (el,r,e ) 表示 一 个 事实 大 H 其 中 ee， e&reR ? 


YAN 一 一- 


FCEXRXE ,在 前 述 三 元 组 中 e, = Nunez,r = PlayforTeam, e, = Liverpool 。 此 外 ， 


在 知识 图 谱 构建 时 ， 若 ee c, Efe ,e% 也 添加 到 大 中 。 上 标 “-1" 表 
示 逆 关系 。 
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图 2 知识 图 谱 示 例 


在 图 模型 表示 上 ， 知 识 图 谱 可 以 视 作 一 个 有 向 标记 多 重 图 9 ={V,E,R}，V 
和 成 分 别 表示 图 的 顶点 和 边 ， 其 中 已 E 天 x 及 x 瑚 且 太 =8E 。 在 图 2 中 给 出 了 一 个 
简单 的 知识 图 谱 案例 。 

2.2 知识 图 谱 推理 

知识 图 谱 推理 是 从 现 有 的 知识 出 发 , 运用 一 定 的 推理 方法 获取 所 蕴含 的 隐藏 
事实 或 新 事实 , 其 本 质 是 通过 推导 或 归纳 将 个 体 知识 推广 到 一 般 性 知识 的 过 程 m]。 
根据 对 象 三 元 组 是 否 完整 , 可 以 将 知识 图 谱 推理 任务 分 为 知识 图 谱 去 噪 和 知识 图 
谱 补 全 两 类 , 前 者 是 对 现 有 完整 三 元 组 正确 与 否 进行 判断 , 而 后 者 是 对 缺失 的 实 
体 或 关系 进行 预测 。 

在 符号 表示 上 ， 给 定 一 个 知识 图 谱 K9 = {2, 尺 ,大 } ， 知 识 图 谱 推理 就 是 利用 
已 有 的 事实 来 推断 查询 的 事实 (ef,r?,ey ) 。 知 识 图 谱 去 噪 即 判定 (eg,r",ey ) 是 否 正 
确 ,知识 图 谱 补 全 包括 三 类 子 任务 , 即 头 实体 补 全 (?,r?,e?)、 尾 实体 补 全 (egr?,?) 
和 关系 预测 (e!,?,e! ) 。 图 3 给 出 了 一 个 知识 图 谱 推理 的 示例 , 红色 箭头 的 关系 相 
关 的 三 元 组 对 应 去 噪 任务 , 黑色 虚线 箭头 相关 的 三 元 组 对 应 关系 预测 任务 , 蓝 色 
箭头 及 其 指向 的 实体 对 应 需要 补 全 的 尾 实体 。 
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图 3 知识 图 谱 推理 示例 

2.3 基于 规则 的 知识 图 谱 推理 

基于 规则 的 知识 推理 方法 挖掘 可 靠 的 规则 用 于 知识 图 谱 推理 。 规则 的 基本 单 
位 称 为 原子 (Atom)， 通 常用 符号 w 表示 。 原 子 可 以 被 定义 为 一 元 或 多 元 (通常 是 
二 元 ) 的 谓词 符号 ， 将 一 系列 变量 映射 为 真 (True) 或 假 (False)。 特 别 地 ， 若 一 个 原 
子 中 的 所 有 变量 都 是 常数 项 ， 该 原子 被 称 为 基本 原子 (Grounding Atom)。 多 个 原 


子 利用 逻辑 连接 词 连接 起 来 即 构成 一 个 规则 。 规 则 通常 以 body => head (FRM A= 
规则 头 ) 的 形式 构成 ， 规 则 体 由 多 个 原子 的 合 取 组 成 ， 表 示 规 则 成 立 的 前 件 ; 规 
则 头 是 包含 目标 谓词 的 单个 原子 ， 表 示 规 则 所 得 出 的 结论 。 

阶 逻 辑 (First Order Logic, FOL)659 是 知识 表示 和 推理 的 一 种 主要 形式 ， 它 
将 知识 图 谱 中 的 三 元 组 转化 成 “二 元 谓词 + 常量 ”的 组 合 ， 即 
<subject,predicate,object>=predicate<subject,object>。 例 如 在 图 3 中 ， 如 果 知 道 规 
则 BornInCity (X, Y ) ^ CityIn (YZ ) ^ ProvinceIn vA W) 一 > Nationality (X, W) ， 那 么 就 
可 以 依据 此 规则 推理 得 出 Malala Yousafzai 的 国籍 为 巴基斯坦 。 

EERME (Horn Rule Logic)58 也 称 为 霍 恩 子 句 或 霍 恩 规则 ， 它 是 一 阶 逻 
辑 的 子 集 ， 有 具有 形式 简单 、 易 于 描述 等 特点 ， 是 一 种 广泛 适用 的 规则 表示 方法 。 
霍 恩 规则 由 头 部 和 主体 组 成 ， 其 中 头 部 是 单个 原子 ， 主 体 是 几 个 原子 的 连接 。 霍 
恩 规 则 五 可 以 表述 为 : 


H:A(a,,..,0,) a, (1) 


Arpa 称 为 头 原子 ，Q%…,Q(n>0) 为 主体 原子 。4 为 规则 体 ， 利 用 合 取 或 析 取 
等 范式 将 主体 原子 连接 在 一 起 。 规 则 体 也 称 为 公式 ， 即 若 4 为 真 ， 那么 右边 的 规 
则 头 原子 也 为 真 。 霍 恩 规则 中 的 封闭 规则 指 的 是 所 有 变量 至 少 在 两 个 原子 中 出 现 ， 
这 也 是 知识 图 谱 推理 中 最 常见 的 规则 。 

基于 规则 的 知识 推理 是 规则 范式 的 泛 化 , 在 语义 上 符合 自然 语言 表达 和 人 类 
思维 方式 ， 可 以 提供 清晰 、 明 确 的 推理 依据 ， 具 有 较 强 的 可 解释 性 和 较 高 的 推理 
精度 ,是 一 种 全 局 可 解释 的 知识 图 谱 推理 方法 。 此 类 方法 也 是 最 早 使 用 的 知识 图 
谱 推 理 方法 。 然而 ， 由 于 知识 图 谱 语 义 的 多 样 性 ,推理 所 涉及 的 规则 通常 较为 复 
杂 ， 因 此 传统 的 规则 学 习 和 知识 推理 方法 也 存在 可 扩展 性 差 、 表 达能 力 有 限 、 时 
间 和 空间 复杂 度 高 等 问题 。 为 解决 上 述 问 题 , 研究 人 员 尝 试 着 将 图 模型 、 神 经 网 
络 等 与 规则 相 结 合 , 利用 其 在 可 迁移 性 、 重 棒 性 和 效率 上 的 优势 , 进行 混合 推理 。 
近 几 年 来 ， 混 合 推理 已 经 成 为 知识 图 谱 推 理 领 域 的 研究 热点 之 一 。 


3 ”基于 归纳 逻辑 编程 的 知识 图 谱 推 理 


归纳 逻辑 编程 (Inductive Logic Programming, ILP) 是 基于 一 阶 逻 辑 的 规则 学 
习 方 法 [40]， 这 种 方法 旨 在 寻找 数据 中 共享 的 逻辑 程序 、 规 则 或 公式 所 构成 的 底 
层 模式 。ILP 将 逻辑 规则 约束 为 霍 恩 规 则 ， 然 后 根据 给 定 的 谓词 、 基 础 原子 、 正 
实例 和 负 实 例 ， 构 造 能 够 解释 正 实例 、 拒 绝 负 实例 的 规则 。 基 于 ILP 的 知识 图 谱 
推理 方法 可 以 分 为 基于 一 阶 归 纳 学 习 的 方法 、 基 于 关联 规则 挖掘 的 方法 和 基于 关 
系 路 径 采 样 的 方法 。 
3.1 基于 一 阶 归纳 学 习 的 方法 
阶 归 纳 学 习 器 (First Order Inductive Learner, FOIL) 是 一 种 领域 独立 的 规则 
学 习 方 法 [中 ， 该 方法 则 在 从 文本 中 学 习 推理 规则 。FOIL 方法 以 SHERLOCK 系 
统 中 为 基础 ， 按 照 如 下 4 个 步骤 学 习 规 则 : (1) 识 别 有 效 类 及 其 实例 ; (2) 发 现 类 
之 间 的 关系 ; (3) 利 用 类 之 间 的 关系 学 习 推 理 规则 并 确定 其 置信 和 度 评 分 $(4)$ 利 
FA HOLMES 推理 引擎 通过 逻辑 推理 查找 事实 ， 并 使 用 马尔 可 夫 网 络 估计 每 个 事 
SEIN Ea RE. FOIL 的 有 具体 流程 步骤 如 图 4 Aras. 


图 4 FOIL 方法 的 详细 步 又 

Landwehr 等 [4 将 朴素 贝 叶 斯 学 习 方法 集成 到 FOIL 中 ,提出 了 两 种 动态 命题 
化 规则 学 习 方 法 一 一 朴素 贝 叶 斯 一 阶 归 纳 学 习 器 (Naive Bayesian First Order 
Inductive Learner, N-FOIL) 和 树 增 强 的 朴素 贝 叶 斯 一 阶 归 纳 学 习 器 
(Tree-augmented Naive Bayesian First Order Inductive Learner, T-FOIL). N-FOIL 不 
使 用 分 治 方法 ， 计 算 复杂 度 与 FOIL 相同 ， 但 N-FOIL 在 每 次 迭代 之 后 ， 实 例 的 
数量 都 会 减少 ， 并 依据 每 次 对 额外 子 句 (规则 ) 的 评分 调整 路 径 ， 有 效 增 加 了 规则 
学 习 的 多 样 性 。 为 了 防止 模型 参数 过 多 ，N-FOIL 中 作出 了 “实例 满足 不 同 查询 
的 概率 彼此 不 相关 ”的 强 假设 ， 即 : 


P, (4-4, |p) - [ [P (a; Ip), 


(2) 
了 代表 查询 概率 ，P 为 类 标签 ，d ,为 查询 ， 但 该 假设 在 实际 情况 中 往往 难以 满 
足 。T-FOIL 针对 该 问题 ， 通 过 引入 额外 的 依赖 关系 树 来 减少 参数 数量 ， 即 将 式 
2 松弛 为 : 


P, (4,....q, Ip) =] P, (a. IP-q,,,), (3) 
pa (让 表示 树 增 强 朴素 贝 叶 斯 模型 中 节点 q; 的 附加 父 节点 。 树 增强 策略 使 得 模型 
BBN O (2) By O(#nodes) ， 有 效 降低 了 计算 复杂 度 ， 提 升 了 学 习 的 效率 。 

Landwehr 等 由 ] 受 核 学 习 和 函数 学 习 之 间 关 系 的 启发 ， 将 核 函 数学 习 类 比 为 
ILP 统计 关系 学 习 中 结构 与 参数 学 习 的 关系 ， 进 而 把 核 学 习 技术 与 FOIL 算法 相 
结合 ， 提 出 了 K-FOIL(Kernel First Order Inductive Learnen) 方 法 。 在 KK-FOIL 中 ， 
结构 学 习 对 应 于 在 逻辑 对 象 上 推断 一 个 合适 的 核 ， 而 参数 学 习 对 应 于 再 现 核 
Hilbert 空间 中 的 函数 学 习 。 然 后 , 利用 离散 空间 搜索 算法 在 逻辑 设置 中 诱导 核 函 
数 K， 利 用 K 执行 多 任务 统计 逻辑 规则 学 习 。 实 例 分析 表 明 ，K-FOIL 在 准确 性 
和 效率 方面 相对 FOIL 和 N-FOIL 都 具有 优势 。 

此 外 ，Zeng 等 rg 提 出 了 QuickFOIL 算法 。 该 算法 基于 自 顶 向 下 贪 焚 ILP 搜 
R 采用 了 驱动 启发 式 搜 索 过 程 的 评分 函数 和 一 个 新 的 修剪 策略 ， 使 算法 能 够 找 
到 高 质量 的 规则 。 在 构造 子 名 时 ， 从 一 个 空 文本 开始 ， 然 后 使 用 贪 禁 的 启发 式 方 
法 一 次 添加 一 个 新 的 文本 , 然后 修剪 部 分 搜索 空间 的 关键 决策 。QuickFOIL 将 连 
接 操 作 的 数量 从 O (n" 减少 到 O(nk) 。 此 外 ，QuickFOIL 还 开发 了 多 种 类 查询 优 
化 和 缓存 技术 ， 以 加 快 查 询 的 速度 。 


基于 FOIL 的 方法 在 小 规模 的 知识 图 谱 中 可 以 实现 准确 高 效 的 推理 ， 但 在 中 
大 型 知识 图 谱 中 ， 实 体 和 关系 的 类 型 更 加 多 样 ， 规 则 的 数量 级 也 随 之 急剧 增加 ， 
计算 复杂 度 指 数 级 上 升 ， 其 准确 度 和 效率 也 将 大 大 下 降 。 此 外 ，FOIL 方法 通常 
需要 负 实 例 ， 而 知识 图 谱 的 开放 世界 假设 (Open World Assumption, OWA) 意 味 着 
缺失 的 数据 不 能 用 作 负 实例 。 

3.2 基于 关联 规则 挖掘 的 方法 

为 解决 FOIL 方法 存在 的 问题 ， 提 升 推理 方法 的 归纳 效率 ，Galiarraga 147 
提出 了 不 完全 证 据 关 联 规则 挖掘 系统 AMIE(Association Mining under Incomplete 
Evidence). AMIE 能 够 在 大 型 RDF(Resource Description Framework) 知 识 库 中 挖 
掘 Horn 规则 。AMIE 根据 知识 图 谱 关 系 的 类 型 生成 规则 库 ， 然 后 从 知识 图 谱 中 
找 出 满足 该 规则 的 实例 ， 并 计算 规则 的 置信 和 度 ， 者 置信 和 度 超 过 某 个 阔 值 ， 则 认为 
规则 可 靠 。 

AMIE 规则 的 学 习 包 括 两 个 阶段 , 第 一 步 是 规则 发 现 , 将 规则 视 为 原子 序列 ， 
初始 化 一 个 空 的 规则 集 ， 利 用 三 种 挖掘 算 子 添加 规则 : (1) S EJ T Op. BD 
在 已 有 的 规则 中 添加 新 变量 ; (2) 添 加 实例 化 原子 CQ ， 即 在 已 有 的 规则 中 添加 党 
量 原子 ，(3) 添 加 封闭 原子 CO- ， 即 添加 一 个 新 原子 使 规则 不 再 扩展 。 第 二 步 是 规 
则 修剪 , 根据 部 分 完备 性 假设 PCA(Partial Completeness Assumptiom 计 算 置 信 度 ， 
知 在 一 个 规则 中 添加 原子 后 置信 度 没 有 提升 ,那么 规则 不 再 扩展 ; 者 某 个 规则 只 
有 头 部 关系 ,那么 判断 其 置信 和 度 是 否 超 过 阔 值 9, 若 未 超过 0 则 直接 删除 。AMIE 
不 需要 知识 图 谱 以 外 的 知识 ， 也 不 需要 进行 配置 或 参数 调 优 ， 在 运行 时 间 、 输 出 
规则 的 数量 和 质量 方面 相 比 FOIL 系列 方法 都 有 明显 改进 。 

AMIE 系统 通过 约束 规则 长 度 、 类 型 和 置信 和 度 等 指标 以 减 小 搜索 空间 ， 但 由 
于 在 规则 发 现 过 程 中 所 有 关系 都 能 通过 规则 与 其 他 任意 关系 相 联系 , 因此 在 面 对 
大 规模 知识 图 谱 时 , 仍 面临 着 搜索 空间 爆炸 的 问题 .为 了 弥补 上 述 缺 陷 , Galárraga 
等 人 又 提出 了 AMIE 的 改进 版 本 AMIE+。.AMIE+ 主 要 在 3 个 方面 进行 了 优化 : 
() 规 则 发 现 步骤 中 ，AMIE+ 在 最 后 一 步 只 添加 C- AO, if ASSI Op, ， 以 避免 规 
则 未 封闭 。(2) 规 则 修剪 步 又 中 ， 提 出 了 一 种 置信 和 度 近 似 计算 方法 ， 用 于 计算 复 
杂 度 较 高 规则 的 置信 和 度 。(3) 将 发 现 的 规则 与 启发 式 类 型 检查 和 联合 推理 结合 : 
类 型 检查 在 规则 体 中 增加 头 尾 实体 所 属 类 别 信息 ， 提 高 推理 准确 度 ; 联合 推理 是 
指 对 于 给 定 查 询 ， 如果 多 个 规则 都 能 推理 得 出 候选 答案 , 则 通过 聚合 这 些 规 则 的 
PCA 置信 度 以 提高 推理 结果 的 排名 。 

AMIE+ 尽 管 准确 度 和 效率 相 较 AMIE 有 明显 提升 ， 但 其 算法 执行 过 程 中 每 
次 只 能 挖掘 一 条 规则 ， 无 法 实现 并 行 化 。 针 对 该 问题 ，Lajus 等 (9 对 其 进行 了 进 
一 步 的 改进 ， 提 出 了 AMIE3 系统 。 该 系统 提出 了 多 个 复杂 的 剪 校 策略 、 并 行 优 
化 算法 和 置信 和 度 的 惰性 计算 来 加 速 策略 挖掘 ， 更 适用 于 大 规模 知识 图 谱 。 此 外 ， 
AMIE3 可 以 详尽 地 挖掘 支持 度 和 置信 度 阔 值 以 上 的 所 有 规则 ， 而 无 需求 助 于 抽 
样 或 近似 值 。 

此 外 ，Wang 等 50 提 出 了 一 种 规则 学 习 方 法 RDF2Rules，RDF2Rules 通过 挖 
掘 频 繁 谓 词 循 环 (Frequent Predicate Cycle, FPO) 进 行 关 联 规则 生成 。 该 方法 将 定义 
了 谓词 循环 (实体 通过 多 个 谓词 回 到 原 实体 )x, Pidi x, Prd G RRK, 
Pi 表示 谓词 ，d, e {~-1,1} 表 示 谓 词 方向 ， 并 通过 支持 度 判定 是 否 为 FPC。 然 后 ， 
利用 FPC 生成 和 评价 规则 ， 并 在 过 程 中 使 用 实体 类 型 信息 ， 使 得 学 习 到 的 规则 
更 加 准确 。 


然而 ,关联 规则 挖掘 方法 往往 需要 对 所 有 的 关系 路 径 进 行 遍 历 ,， 因 此 在 应 用 
于 大 规模 知识 图 谱 时 计算 复杂 度 高 ， 效 率 低下 。 
3.3 基于 关系 路 径 采 样 的 方法 

为 降低 规则 搜索 的 计算 复杂 度 , 学 者 们 提出 了 基于 关系 路 径 采 样 的 方法 。 这 
种 方法 的 基本 思想 是 , 对 每 一 个 目标 关系 ,只 对 知识 图 谱 中 与 该 关系 相关 联 的 三 
元 组 进行 采样 ， 然 后 利用 采样 信息 进行 规则 学 习 。 此 类 方法 的 代表 性 方法 包括 
RuleN6U、AnyBURLI2 及 其 变 体 和 C-NNDSI4E , 

RuleN 是 一 种 基于 双重 随机 采样 的 规则 挖掘 方法 , 支持 两 种 类 型 的 规则 挖掘 ， 
为 类 型 规则 和 C 类 型 规则 ， 其 形式 为 : 


Pp, :7 (Xs E € s (3,35) ^... ^8, (x i 


n? 


(4) 
C: r(x,a) €- dy r(x,y), 

该 方法 对 于 ,类 型 待 查 询 关 系 r+， 只 抽取 与 之 相关 的 KK 个 三 元 组 4,r,b， 使 用 深 
度 优 先 裔 历 算法 来 确定 4 和 5 之 间 长 度 为 n 的 所 有 路 径 作 为 候选 规则 体 。 对 满足 
已 类 型 候选 规则 体 的 路 径 进 行 随机 采样 ， 判 断路 径 中 的 头 实体 和 尾 实体 之 间 是 
否 存 在 关系 r+。 对 于 C 类 型 规则 ， 同 样 随 机 选取 天 个 三 元 组 4,7,b， 然 后 对 于 每 
个 三 元 组 创建 规则 x(x,8) Hr (x,y) lr (as y) 《r(x%,y)。 最 后 ， 通 过 随机 采样 规 
则 体 为 真实 的 三 元 组 来 计算 路 径 规则 的 近似 置信 和 度 。 对 于 C 类 型 规则 ， 只 需 从 7 
个 事实 中 选取 一 个 样本 ， 并 计算 其 主语 和 宾语 位 置 中 发 现 4 或 5 的 频率 作为 置信 
度 。RuleN 方法 通过 采样 有 效 地 减少 了 搜索 空间 ， 简 化 了 计算 过 程 。 

Ferré 提 出 了 概念 最 近邻 方法 (Concepts of Nearest Neighbours, C-NN) 方 法 。 
C-NN 是 一 种 基于 实体 聚 类 的 规则 学 习 方 法 ， 不 需要 大 规模 训练 或 重 训练 ， 避 免 
了 在 运行 时 间 和 内 存 方面 的 高 昂 代 价 。C-NN 引入 了 一 种 符号 形式 的 KK- 近邻, FH 
图 形 模式 取代 传统 KNN 的 数字 距离 ， 图 形 模式 提供 了 两 个 实体 相似 程度 的 可 理 
解 表 示 。 对 于 每 个 实体 的 近邻 筛选 ， 本 质 上 也 是 一 种 抽样 过 程 。 在 规则 学 习 中 ， 
基于 公共 图 模式 识别 相似 实体 的 集群 , 然后 从 这 些 图 形 模式 中 衍生 出 不 同 的 规则 ， 
并 结合 起 来 进行 推理 。C-NN 可 以 为 每 个 推理 提供 解释 。 

Meilicke 等 提出 了 AnyBURL(Anytime Bottom-Up Rule Learning) 方 法 。 
AnyBURL 是 一 种 能 够 随时 从 大 规模 知识 图 谱 中 学 习 逻 辑 规则 的 自 底 向 上 技术 。 
方法 的 基本 思想 是 从 给 定 知识 图 谱 9 中 采样 长 度 为 4 的 路 径 ， 从 n=2 开 始 ， 从 长 
度 为 n 的 路 径 中 ， 学 习 长 度 为 na 一 1 的 规则 ， 路 符 上 的 第 一 条 边 对 应 于 头 部 原子 。 
达到 长 度 为 -1 的 规则 的 一 定 饱 和 度 SAT 后 , 令 n=n+1l 以 学 习 更 长 的 规则 。 其 
中 ,饱和 度 定义 为 SAT=|R's|/|Rs| R; 表示 在 当前 时 间 跨 度 中 发 现 的 所 有 规则 ， 
R's 表示 当前 时 间 跨 度 发 现 的 与 过 去 迭代 中 发 现 的 规则 重合 的 规则 。AnyBURL 
的 规则 学 习 过 程 是 在 长 度 为 {的 时 间 跨 度 序列 中 进行 的 ， 在 一 个 时 间 跨 度 内 ， 算 
法 通过 迭代 采样 随机 路 径 来 学 习 尽 可 能 多 的 规则 。 时 间 跨 度 结 束 后 ,对 规则 进行 
置信 和 度 评 分 。 最 后 , 通过 生成 所 有 候选 规则 的 置信 度 的 最 大 值 对 候选 规则 进行 排 
FF. 该 方法 有 较 高 的 计算 效率 和 较 少 的 计算 资源 要 求 ,并且 能 够 根据 提出 的 候选 
规则 产生 解释 , 显著 优 于 其 他 基于 规则 的 推理 方法 , 在 性 能 和 可 解释 性 方面 有 着 
巨大 潜力 。 

AnyBURL 挖 气 的 规则 依赖 于 饱和 度 羡 值 的 设置 ， 而 学 习 合 理 的 阔 值 往往 是 
很 难 的 ， 导 致 方法 的 鲁 棒 性 较 差 。 为 解决 该 问题 ，Meilicke 等 5 提出 了 
Reinforce-AnyBURL 算法 。 该 算法 利用 强化 学 习 方法 ， 将 规则 的 可 解释 性 、 置 信 


度 和 长 度 作 为 奖励 进行 规则 学 习 , 并 提出 对 象 标识 方法 , 在 规则 中 添加 约束 条 件 
以 去 除 元 余 和 重复 的 规则 。 

为 避免 规则 聚合 受到 元 余 信 息 的 影响 ，Ott 等 哆 进一步 改进 了 AnyBURL 77 
法 ， 提 出 了 一 种 可 迁移 的 快速 非 元 余 规则 挖掘 方法 SAFRAN(Scalable And Fast 
non-redundant Rule Application)。 该 方法 使 用 了 一 种 称 为 非 元 余 噪 声 聚 合 方法 ， 
让 聚合 之 前 检测 并 聚 类 元 余 规则 ， 从 而 减轻 其 负面 影响 并 提高 预测 性 能 。 
SAFRAN 采用 最 大 聚合 方法 预测 实体 的 置信 度 得 分 ， 然 后 基于 噪声 或 方法 对 不 
同 聚 类 的 预测 进行 进一步 聚合 。 此 外 ，SAFRAN 采用 了 网 格 搜索 和 随机 搜索 两 
种 方法 ， 来 确定 基于 类 型 组 合 的 三 元 组 规则 最 优 聚 类 闵 值 。 相 比 AnyBURL， 
SAFRAN 挖掘 规则 的 质量 更 高 ， 推 理 结 果 也 更 准确 。 

de ! 给 出 了 基于 归纳 逻辑 编程 的 推理 方法 的 相关 信息 。 基 于 LP 的 规则 学 习 
和 知识 图 谱 推 理 方法 是 一 种 “人 硬 ” 推 理 方法 , 挖掘 得 出 的 规则 通过 置信 度 评分 并 与 
浆 值 进行 比较 来 判定 是 否 正确 。 但 此 类 方法 受 阔 值 设置 的 影响 具有 一 定 的 主观 性 ， 
并 且 只 适用 于 精确 推理 ， 而 无 法 表示 不 确定 性 信息 。 

表 2 基于 归纳 逻辑 编程 的 推理 方法 的 相关 信息 
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4 ”基于 概率 图 模型 和 规则 的 知识 图 谱 推理 


为 实现 模糊 推理 , 研究 人 员 将 概率 图 模型 与 规则 学 习 相 结合 , 提出 了 多 种 适 
用 于 模糊 推理 的 “ 软 ?” 推 理 方法 ， 主 要 包括 基于 马尔 可 夫 逻 辑 网 络 的 方法 、 基 于 推 
理 树 的 方法 和 基于 概率 软 逻 辑 的 方法 。 
4.1 基于 马尔 可 夫 遇 辑 网 络 的 方法 

Richardson 等 69 提 出 的 马尔 可 夫 逻 辑 网 络 (Markov Logic Network, MLN) 是 
根据 预先 定义 的 规则 和 以 知识 图 谱 为 单位 的 事实 建立 一 个 概率 图 形 模型 , 然后 学 
习 不 同 规则 的 权重 。 给 定 任何 规则 集合 {7X,}， 集合 中 的 规则 都 在 知识 图 谱 中 对 应 
实例 。 根 据 {7X,} ， 可 以 建立 一 个 马尔 可 夫 逻 辑 网 络 。 

MLN 建 模 的 主要 步骤 是 : (1) 为 每 条 规则 中 的 基本 原子 构建 一 个 节点 ， 如 果 

原子 在 知识 图 谱 中 被 观察 ， 则 节点 的 值 设 为 1， 否 则 设 为 0; (2) 两 个 基本 原子 可 
以 同时 用 于 实例 化 至 少 一 个 规则 时 ， 在 两 个 节点 之 间 建 立 边 ; (3) 所 有 基本 原子 
形成 一 个 团 ， 对 应 一 个 特征 ， 如 果 基 本 规则 为 真 ， 值 为 1， 否则 为 0。 
Arp, n(x) 是 规则 7 的 真实 基本 原子 数 ，w 是 规则 对 应 的 权 值 。 然 后 ， 在 
MLN 中 应 用 马尔 可 夫 链 蒙特 卡 洛 (Markov Chain Monte Carlo, MCMC) 算 法 进行 
推理 ， 并 通过 优化 伪 似 然 测度 有 效 地 学 习 权 重 Ww 。 根 据 风 ， 给 定 相 邻 的 基本 原 
子 ， 可 以 推断 出 Lives_in(LeBron,L.A) 的 概率 。 


Spouse_of(LeBro | | Lives_in 
n,Savan nah) (Savan nah,L.A.) 
X Lives_in a 

(LeBron,L.A.) 
Part of Located in 

(LeBron,Lakers) (Lakers,L.A.) 


y: Spouse of(X, Y)ALive in(Y,Z) Lives in(X,Z) 
y;Part of(X, Y) ALocated in(Y,Z) Lives in(X,Z) 
图 5 两 条 规则 对 应 的 MLN 示例 

MLN 是 第 一 个 被 开发 用 于 知识 图 谱 模糊 推理 的 模型 。 然 而 ， 由 于 三 元 组 之 
间 的 图 结构 复杂 ，MLN 的 推理 过 程 困 难 且 效率 低下 。 此 外 ， 知 识 图 谱 中 缺失 的 
三 元 组 也 会 通过 规则 影响 推理 结果 。 
4.2 基于 推理 树 的 方法 

选择 性 线性 确定 (Selective Linear Definite, SLD)6573 是 一 种 为 查询 构造 推理 树 
来 进行 知识 图 谱 推 理 的 手段 。 相 比 MLN, SLD 推理 树 能 够 有 效 缓解 三 元 组 结构 
复杂 的 问题 ， 具 有 更 高 的 推理 效率 。 标 准 SLD 方法 以 自 顶 向 下 的 方式 构建 推理 
树 ， 如 图 6 所 示 。 它 首先 利用 查询 来 初始 化 根 节点 ,然后 通过 应 用 每 个 子 句 及 其 
实例 来 递归 地 创建 子 目 标 。 

基于 SLD 推理 树 , Raedt 等 657 提出 了 ProbLog 方法, 它 是 逻辑 编程 方法 Prolog 
的 概率 扩展 。 与 Prolog 相 比 ，ProbLog 为 每 个 子 句 c 增加 了 一 个 概率 p;, C; 表示 


一 个 规则 或 一 个 基本 原子 , 用 于 派生 查询 的 示例 ,最 后 通过 基于 推理 树 的 递归 来 
获得 推理 结果 。 

ProbLog 中 的 所 有 规则 或 原子 都 被 概率 化 ,例如 : 
0.7:Spouse of(X,Y)ALives in(Y,Z)— Lives in(X,Y); 0.8:Part of(X,Y) ALocated in 


? Lives in(LeBron,S) 


:-Spouse of(LeBron,A)^ Lives in(A,B) 


Part of(LeBron,C)A Located in(C,D) 
:-Spouse_of(LeBron,Savannah) 
:-Part_of(LeBron,Lakers) 


Lives_in(Savannah,L.A.) 


:-Located_in(Lakers,L.A.) 


[] 0 li 
6 为 查询 Lives in(LeBron,S)! EM SLD 树 
(Y,Z)—Lives in(X,Y); 1.0:Spouse of(LeBron,Savan nah)。 给 定 任何 一 个 查询 4， 
成 功 概率 P(g | T) 被 分 解 为 计算 所 有 可 能 子 句 集合 的 联合 概率 总 和 ， 即 : 


P(q|T)- > P(q.L|T)- P(g|L)P (L|T)- P (g|L IT» TI 6 = Zl (6) 
其 中 7= {pi:0,.…,p, :Cc,} 描 述 了 原因 工 的 概率 分 布 , LOL, ={¢,...,¢,}. P(q|L) 
表示 在 给 定 原因 集 区 的 情况 下 查询 4 的 概率 ， 如 果 至 少 有 一 个 答案 能 实例 化 工 并 
使 查询 为 真 ， 则 其 值 为 1， 否 则 为 0。 为 了 计算 P(q|L). ProbLog 利用 SLD 为 9 
构造 一 个 推理 树 ， 首 先 根 据 查 询 初 始 化 根 节点 ， 然 后 应 用 每 个 子 句 及 其 实例 来 递 
归 地 创建 子 目 标 ， 达 到 结束 条 < 件 (找到 答案 或 达到 最 大 的 树 深度 ) 时 停止 

为 提升 推理 效率 ，Cussens[50 提 出 了 随机 人 逻辑 程序 (Stochastic Logic € 
SLP) ŬA, SLP 是 带 有 参数 化 子 句 的 逻辑 程序 , 它 定 义 了 目标 反 演 的 对 数 线性 分 
布 ， 而 对 数 线性 分 布 则 通过 边缘 化 提供 了 绑 定 于 变量 的 分 布 ， 使 得 SLP 能 够 表 
示 复 杂 的 规则 分 布 。SLP 定义 了 一 个 遍历 SLD 树 的 随机 过 程 ， 定 义 在 节点 上 的 
概率 分 布 通过 向 上 加 权 所 需 的 答案 子 句 和 向 下 加 权 其 他 子 句 来 学 习 。 此 外 ， 
Cussens 还 提出 了 一 种 故障 调整 最 大 化 (Fault-Adjusted Maximisation, FAM) 方 法 ， 
FAM 是 EM 算法 的 一 个 实例 ， 专门 应 用 于 标准 化 SLP， 并 在 迭代 最 大 化 方法 中 
为 计算 参数 更 新 提供 了 一 种 封闭 形式 ， 能 够 有 效 地 提升 规则 优化 的 速度 。 

Wang 等 [利用 PPR(Personalized appeal OE 的 偏差 抽样 策略 替代 SLP 
的 随机 抽样 策略 ， 提 出 了 ProPPR 方法 。 与 式 6 中 直接 为 P(Z1I7) 设置 一 个 概率 
不 同 ，ProPPR 使 用 PPR 中 基于 些 预 定义 的 特征 来 计算 每 个 子 4 句 的 概率 ， 然 后 
基于 局 部 分 区 方法 , 设计 了 一 个 局 部 基本 过 程 以 实现 推理 。 这 个 局 部 基本 过 程 具 
有 的 查询 能 力 能 将 规则 权重 学 习 任 务 划 分 为 多 个 单独 的 梯度 计算 , 实现 并 行 学 习 ， 
以 提升 规则 学 习 和 推理 的 效率 。 此 外 ， 实 验 表明 ， 即 使 没有 权重 学 习 ，ProPPR 
在 实体 解析 任务 上 也 表现 良好 ， 而 监督 权重 学 习 提 高 了 准确 性 。 


/对 oc 


除了 ProbLog, SLP 和 PPR 之 外 ， 还 有 Datalog!?), MV-Datalog + View! 
方法 也 采用 了 类 似 于 SLD 的 推理 逻辑 。 基 于 推理 树 的 方法 尽管 相 比 MLN 在 速 
度 方面 有 所 改进 , 但 面 对 大 量 缺 失 三 元 组 的 知识 图 谱 时 ， 推 理 精 度 和 速度 都 不 理 
想 。 
4.3 AS TECEAXGE WS k 

针对 三 元 组 缺失 的 知识 图 谱 推理 问题 ，Kimmig 5519938 rt. T SEE GE 48 
(Probabilistic Soft Logic, PSL). PSL 是 一 种 在 关系 领域 中 进行 集体 概率 推理 的 框 
架 ， 由 一 组 一 阶 逻 辑 规则 、 连 接 体 body) 和 单个 字面 头 (head) 组 成 。 

类 似 于 ProbLog TIE, PSL 的 规则 被 赋予 了 权重 。 为 了 确定 满足 基本 规则 的 
程度 ，PSL 分 别 使 用 Lukasiewicz t- 范 数 [ 罗 及 其 相应 的 协 范 数 作为 逻辑 AND 和 
OR 的 松弛 : 


£, A4, = max {0,1 (£, )+ 7 (£, )-1} 
44, -2min(I(4)«1(6)1] ， (7) 
=£, =1-I(£,) 


UK AARRE, T RRAC, LERET. XE bo 布尔 真 值 
松弛 为 区 间 [0，H 中 的 连续 软 真 值 。 对 于 一 个 基本 规则 
F E yay D Tread = “hody V Tcaq， 对 7 中 原子 的 解释 了 决定 了 7 是否 满足 要 求 ， 则 利 
FH d, = max [0.1 (7,4) 1 (ri 上来 计算 规则 距离 满足 要 求 的 “差距 "。 通 过 松弛 和 
距离 计算 ， PSL 将 相似 性 函数 集成 到 图 模型 中 。 此 外 ，PSL 还 将 一 阶 公 式 的 语法 
限制 为 具有 连接 体 规则 的 语法 。 这 两 个 特性 使 得 推理 转化 为 连续 空间 中 的 凸 优化 
问题 ， 可 以 在 知识 缺失 的 情况 下 进行 规则 学 习 ， 求 解 更 加 方便 。 
Pujara 等 69 为 减少 知识 图 谱 识 别 和 推理 时 间 , 实现 在 信息 系统 噪声 背景 下 的 
知识 图 谱 推 理 , 提出 了 一 种 本 体感 知 分 割 方法 OAP(Ontology-Aware Partitioning). 
OAP 建立 以 实体 和 关系 为 节点 、 本 体 约 束 关 系 为 边 的 本 体 知识 图 ， 如 图 7 所 示 ， 
并 使 用 PSL 来 定义 知识 图 上 的 联合 概率 分 布 。 然 后 ， 利 用 边缘 最 小 分 割 技术 ， 
来 划分 本 体 中 存在 的 关系 和 标签 , 进而 创建 关系 和 标记 特定 实例 提取 的 相应 分 区 ， 
执行 知识 推理 。 针 对 本 体 论 信 息 的 贡献 和 与 数据 中 不 同 关 系 、 标 签 不 一 致 导 致 的 
分 区 不 平衡 问题 ，OAP 根据 关系 或 标签 的 提取 频率 对 每 个 顶点 进行 加 权 ， 约 束 
图 切割 以 产生 具有 相等 顶点 权重 的 艇 。OAP 利用 本 体 进 行 分 区 提取 ， 保 留 联合 
方法 构建 知识 图 的 优势 , 并 显著 提高 运行 效率 , 能 够 从 信息 提取 系统 的 噪声 输出 


中 联合 推理 知识 图 谱 。 
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7 OAP 方法 构建 的 本 体 知识 轿 


为 适应 大 规模 复杂 知识 图 谱 ，Bach S92 Hi T REEMA B AR WT BS DU 
(Hinge-Loss Markov Random Field, HL-MRF)ISU8 , HL-MRF 是 一 种 结合 随机 算法 、 
概率 图 形 模 型 和 模糊 逻辑 社区 的 概率 图 模型 。 首 先 ， 研 究 者 们 证 明了 MAX SAT 
的 随机 算法 、 使 用 布尔 逻辑 定义 的 离散 MRE 的 局 部 一 致 性 松弛 和 模糊 逻辑 连续 
信息 推理 三 种 方法 可 以 统一 到 相同 的 凸 优化 目标 上 ， 然 后 将 推理 目标 推广 为 
Hinge-Loss 特征 的 加 权 和 。HL-MRF 用 贸 链 损失 势 和 人 逻辑 规则 之 间 的 联系 来 定义 
PSL， 使 得 模型 很 容易 扩展 到 大 型 知识 图 谱 中 。 此 外 ，PSL 提供 的 语法 使 模型 能 
够 更 好 地 被 用 户 理 解 和 拓展 。 

表 2 给 出 了 基于 概率 图 模型 和 规则 的 推理 方法 的 相关 信息 。 尽管 能 够 实现 模 
糊 推理 , 但 由 于 此 类 方法 本 质 上 还 是 依赖 于 规则 的 搜索 挖 据 ,需要 在 知识 图 谱 上 
进行 复杂 的 人 遍历 计算 ， 因 此 在 大 规模 图 谱 中 的 精度 、 效 率 和 和 鲁 棒 性 都 不 强 ， 目前 
未 能 在 大 规模 知识 图 谱 中 得 到 广泛 的 应 用 。 


5 基于 嵌入 表示 和 规则 的 知识 图 谱 推理 


传统 的 基于 显示 规则 学 习 的 知识 图 谱 推理 方法 具有 良好 的 可 读 性 和 可 解释 

性 , 但 这 些 有 限 和 离散 的 规则 往往 难以 完整 描述 数据 之 间 的 所 有 内 在 关系 ,对 模 
糊 和 噪声 也 不 具有 重 棒 性 。 知 识 图 谱 典 入 表示 将 实体 和 关系 表示 为 低 维 连续 和 癌 量 
空间 中 的 稠密 向 量 ， 可 以 有 效 表 示 和 度量 实体 、 关 系 间 的 语义 关联 ， 提 升 计算 效 
率 ， 绥 解数 据 稀疏 ， 对 模糊 和 噪声 更 加 鲁 棒 。 如 何 有 效 结合 戏 入 表示 和 规则 学 习 
的 优点 提升 推理 能 力 , 已 经 成 为 学 者 们 的 重点 研究 内 容 之 一 。 在 现 有 的 研究 工作 ， 
表 2 基于 概率 图 模型 和 规则 的 推理 方法 的 相关 信息 
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法 和 嵌入 表示 与 规则 相互 增强 的 推理 方法 。 
5.1 SUSAN ERES 

EAF T5 ER XE FU ERN I UY S STR A CZ HET TEE x LUT EA ZAR d s 
WON XO de i, JEXEISESUU TEE HIT] — 76428 Z4 UN o EE ES IIR. Tu 
升 谍 入 表示 的 效率 和 质量 ， 同 时 也 可 以 为 推理 结果 提供 更 多 的 解释 依据 ,增强 推 
理 可 解释 性 。 

Guo 等 58 于 2016 年 提出 了 KALE 方法 ， 这 也 是 结合 谍 入 表示 和 规则 进行 知 
识 图 谱 推理 的 最 早 研究 之 一 。KALE 将 规则 和 三 元 组 嵌入 到 一 个 统一 框架 中 ， 对 
三 元 组 和 规则 进行 联合 仍 入 建 模 。 方 法 将 三 元 组 视 作 基本 原子 , 给 定 一 个 逻辑 规 
则 ， 首 先 用 集中 的 实体 进行 实例 化 , 将 规则 视 为 由 基本 原子 和 逻辑 连接 符 构 成 的 
复杂 公式 。 对 三 元 组 的 建 模 采 用 TransEI@ 方 法 ， 将 其 真 值 定 义 为 : 


T(esmej)=1l e,tr,-e, 


1 

5s (8) 
d 为 租 入 维度 。 而 对 于 规则 建 模 ， 则 采用 模糊 逻辑 的 方法 ， 考 虑 两 种 规则 :一 种 
是 Yx y: (xry) xray), WE AE lente) (enre); 另 一 种 是 
VX, y, Z (xX, ra y)^(» noz) > (47,2) ; w 作 
f; Ê (etan) ^ (esse) 下 (81,7,6,)， 两 者 的 真 值 7 的 计算 方法 为 ; 

I(fi) » 1(e,.7,.e, M (e,.7,,e,)-1 (e,.r,,e, )+1, 

I( fy) =L (eran M (e,.7,.6, M (ere, )-1 (€tan M (7,6, HL ©) 
e 表 示 实 体 ，r 表示 关系 ，Z 的 值 越 大 ， 规 则 被 满足 的 概率 越 大 。 最 后 ， 最 小 化 
可 训练 公式 集合 上 的 一 个 全 局 损失 ， 以 学 习 与 三 元 组 和 规则 都 相 容 的 谋 入 表示 ， 


B: 
minu, © Y [r-1(£)-i(£)]. 


S EFF EN a (10) 
st.Jel, xL Yee lr], <L vr eR, 

er 表示 实体 和 关系 的 葡 入 向 量 ，6, 及 表示 实体 和 关系 空间 ，7Y 表 示人 允许 的 边界 
距离 。 

Wang 等 [0 借鉴 ProPPR 方法 ， 提 出 了 一 种 基于 矩阵 分 解 进行 一 阶 逻 辑 租 入 
的 方法 ProPPR-MF(ProPPR Matrix Factorization)。 该 方法 首先 提出 基于 结构 梯度 
的 结构 学 习 策 略 ， 从 事实 中 生成 合理 的 推理 公式 ; 然后 ， 利 用 背景 事实 、 训 练 示 
例 和 推理 公式 来 构建 有 根据 的 证 明 图 ; 最 后 , 将 训练 示例 映射 到 二 元 矩阵 的 行 中 ， 
将 推理 公式 映射 到 二 元 矩阵 的 列 中 , 使 用 可 迁移 矩阵 分 解 方 法 ,通过 低 秩 近似 学 
习 实 例 和 逻辑 公式 的 潜在 连续 表示 。ProPPR-ME 的 步骤 如 图 8 所 示 。 通 过 逻辑 
FU RACED. 将 离散 的 逻辑 事实 和 谓词 表示 为 连续 的 息 阵 癌 量 ,提升 了 推理 的 
效率 ， 使 得 方法 能 够 扩展 应 用 到 大 型 复杂 知识 图 谱 中 。 


| © 00 


: 训练 实例 


实例 和 公式 的 二 元 逻辑 矩阵 


ProPPR 证 明 图 
8 ProPPR-MF 的 方法 框架 
传统 的 规则 内 入 学 习 方 法 采用 一 次 性 注入 逻辑 规 则 , 忽略 了 髓 入 学 习 与 逻辑 


推理 之 间 的 交互 特性 。 这 些 方 法 只 关注 硬 规则 ， 而 硬 规则 通常 需要 大 量 的 手工 工 
作 来 创建 或 验证 。 为 克服 该 问题 ， 在 KALE 的 基础 上 ，Guo 等 人 进一步 提出 了 
基于 软 规则 引导 的 方法 RUGEUU, 利用 迭代 方式 替代 一 轮 规则 注入 。RUGE 利用 
AMIE 获取 规则 ， 但 不 是 直接 将 基本 规则 视 为 正 实例 ， 而 是 将 规则 导出 的 三 元 组 
视 作 未 标记 三 元 组 ,利用 可 观测 三 元 组 更 新 实体 和 关系 嵌入 。 由 于 未 标记 三 元 组 
的 真实 性 难以 确定 ， 因 此 基于 当前 嵌入 来 预测 每 个 未 标记 三 元 组 的 概率 。 最 后 ， 
基于 标记 的 和 未 标记 的 三 元 组 来 更 新 嵌入 。 三 元 组 的 嵌入 采用 ComplEx FIATA, 
AURAN- KALE 采用 相同 的 t-norm 模糊 逻辑 方法 ， 其 达 代 学 习 过 程 的 算法 
伪 代 码 如 算法 1 所 示 。 
KALE 和 RUGE 依据 规则 或 公式 组 成 部 分 的 分 数组 合 的 计算 其 评分 ， 但 由 
于 三 元 组 的 分 数 是 分 别 估计 的 ， 因 此 即使 规则 或 公式 中 的 三 元 组 彼此 完全 无 关 ， 
也 可 能 导致 该 规则 或 公式 的 分 数 较 高 。 为 了 解决 这 一 问题 ，Wang 等 [3 将 一 个 三 
元 组 或 一 个 基本 规则 转换 为 一 阶 有 逻辑 , 然后 根据 一 阶 逻 辑 中 包含 的 实体 和 关系 的 
算法 1 RUGE 的 迭代 学 习 过 程 
Require: 标记 三 元 组 C={(%,yy)), 未 标记 三 元 组 YU = {(x, 外, 一 阶 逻辑 规则 
F={(f,.4,)| f 930, 2, DEEE 以 及 其 基本 原子 9 = f(e) 


1. 随 机 初始 化 实体 和 关系 嵌入 QO 
2.for n=1:N do: 
3. ML/U/G 中 抽取 minibatch L, / U, / G, 


4. S, «- SofiLabelPrediction (4. G, oC) # 标 签 预测 


5. ©") < EmbeddingRectification(L,,U/,,G,) Sr 

6.end for 

Ensure: o~ ) 
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格式 ， 表 4 介绍 了 如 何 通过 数学 表达 式 对 一 阶 逻 辑 进 行 评分 。 通 过 上 述 转化 ,， 包 
售 在 同一 规则 中 的 不 同 三 元 组 在 向 量 空间 中 直接 交互 , 确保 规则 及 其 编码 格式 都 
具有 一 对 一 的 映射 转换 ， 对 规则 的 打分 更 加 合理 ， 推 理 的 准确 度 也 更 高 。 

多 数 基于 舱 入 式 表 示 和 规则 的 方法 忽略 逻辑 规则 的 传递 性 和 反对 称 性 , 针对 该 问 
题 ，Wang 等 I4 提 出 了 TARE 方法 ， 其 核心 思想 是 将 知识 图 谱 三 元 组 、 已 有 关系 
和 逻辑 规则 相 结合 ， 以 学 习 知 识 图 谱 余 入 ， 利 用 逻辑 规则 的 传递 性 和 反对 称 性 ， 
对 逻辑 规则 中 的 关系 类 型 进行 近似 排序 。 首 先 ， 采 用 ComplEx Frid tk ASE ARAL 


RA, OR IRE BOR AEA, ERE TRE REG AE BER, PRA SE 
过 程 损失 函数 为 : 
Le = min, Flog(1+exp(—Y,, (¢(s,7,0))))+ 248,, (11) 
其 中 f(s， r ,0) 是 ComplEx 方法 中 的 能 量 函 数 ， O 为 模型 参数 ， soe&,reR , 
"M (7M, Qe£xRx£, ，|Q| 是 三 元 组 为 真 或 假 的 标签 集合 。 然 后 分 别 
对 复数 向 量 柑 入 的 实 部 和 虚 部 进行 排序 获得 关系 之 间 的 顺序 。 例 如 ， 对 于 规则 
RARS Ln, ieee ace 
,-min >) F(r,nr)* >) max (0, a- F (rrr, )} (12) 


(14 sth ste eP) (ru rr EN 


表 3 三 元 组 及 其 基本 规则 的 对 应 格式 


三 元 组 及 基本 规则 格式 
(h.r,t) r(h)>t 
(h,7,,t) = (h,r,t) I(hec)^[n(n) 9 r]|9 [n (a) >] 
(e.n.e)* (e. r,e,)  (e..e) LC dn (e,) )2e|2[n(&e) 2 «| 
(mrt) (rss) [iii] [sto TA ps 5 8] S [695 7] 
表 4 一 阶 逻 辑 及 其 数学 表达 式 
一 阶 逻 辑 数学 表达 式 
r(h) rt+h 
a=b a 一 b 
heC heC (C 为 矩阵 ) 
anb a.b 
a&b (a—b)+(a—b) 


PRIN 表示 逻辑 规则 的 正 反 集合 ，Q 为 边缘 超 参 数 ，F 表示 逻辑 规则 的 惩罚 函 
数 得 分 ，7',7',,7 "为 将 结果 中 的 7 栓 换 为 随机 关系 re RR 来 构造 的 反 规 则 集合 。 
最 后 ， 对 损失 函数 £= Lx + L4， 利 用 随机 梯度 下 降 法 进行 联合 优化 。TARE 方法 
中 ， 逻 辑 规则 直接 合并 到 关系 类 型 表示 中 ， 而 不 是 用 具体 的 实体 实例 化 。 因 此 ， 
学 习 到 的 租 入 不 仪 与 三 元 组 兼容 , 而 且 与 规则 兼容 ,并 且 关 系 类 型 的 散 入 是 近似 
有 序 的 。 

Ding 等 [5 提出 了 ComplEx-NNE-AER 方法 ， 该 方法 将 实体 表示 的 非 负 约束 
(No-NEgative Constraints, NNE) 和 关系 表示 的 近似 包含 约束 (Approximate 
Entailment constraints on Relation, AER) A RRA IEW, UEA Mad He A A XE 
性 的 前 提 下 ， 在 租 入 空间 的 结构 中 增加 先 验 信念 。NNE 有 助 于 学 习 实 体 的 紧凑 
和 可 解释 表示 ，AER 进一步 将 关系 之 间 丝 含 的 逻辑 规则 编码 到 它们 的 分 布 式 表 
示 中 。 该 方 在 ComplEx 方法 的 基础 上 施加 3 条 约束 进行 嵌入 表示 学 习 ， 即 : 
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1 
1 Re(r, ) - Re(r, E a, (13) 


A(Im (r,) —Im (r, )) <B, 
EEP Re 和 Im ZH SEIN EKREN, r >r ERRAT, DL KER 
蕴含 i ，Q 和 PB 为 松弛 变量 。 式 13 确保 实体 表示 中 只 存储 正 性 属性 ， 并 将 实体 表 
示 保 持 在 [0,1] 的 超 立 方 体 内 ; R 13 确保 了 模型 无 需 遍 历 所 有 潜在 实体 对 ， 并 利 
用 不 同 置信 度 水 平 的 编码 使 得 模型 对 不 确定 性 更 加 和 鲁 棒 。ComplEx-NNE-AER 77 
法 简单 有 效 ， 普 适 性 强 ，NNE 和 AER 提高 了 模型 的 效率 和 可 解释 性 ， 增 加 了 髓 
入 空间 的 结构 ， 使 其 能 够 适用 于 大 规模 知识 图 谱 。 

Niu 等 06] 将 规则 学 习 、 嵌 入 表示 和 路 径 学 习 相 结合 ， 提 出 了 一 种 基于 规则 和 
路 径 的 联合 租 入 方法 RPJE(Rule and Path-based Joint Embedding)。 首 先 ， 从 知识 
图 谱 中 挖掘 不 同 长 度 (规则 体 包 含 关 系 的 数量 ) 的 Horn 规则 ， 并 编码 用 于 嵌入 表 
示 。 然 后 ， 利 用 长 度 为 2 的 规则 对 路 径 进行 精确 组 合 ， 使 用 长 度 为 1 的 规则 创建 
关系 之 间 的 语义 关联 , ARKARA. 此外, 优化 时 还 考虑 了 每 个 规则 的 置信 度 ， 
以 保证 将 规则 应 用 于 骨 入 表示 的 可 用 性 。RPJE 的 模型 结构 如 图 9 所 示 。 该 方法 
充分 利用 了 逻辑 规则 的 可 解释 性 和 准确 性 、 知 识 图 谱 嵌 入 的 泛 化 性 以 及 路 径 的 补 
充 语义 结构 , 可 以 有 效 缓解 嵌入 表示 学 习 方 法 难以 适应 稀疏 知识 图 谱 和 可 解释 性 
差 的 问题 。 

此 外 ，Tang 等 提出 了 RulE[77 方 法 ， 通 过 租 入 表示 建 模 风 辑 规则 和 三 元 组 。 
RulE 将 实体 、 关 系 和 风 辑 规则 统一 远 入 空间 中 进行 共同 表示 ， 然 后 学 习 每 个 逻 
辑 规则 的 嵌入 。 该 方法 以 软 方式 执行 逻辑 规则 推理 ， 并 计算 每 个 基本 规则 的 置信 
FEA Be. FALL ALR ARATE, RulE 允许 将 先 验 罗 辑 规则 信息 注入 嵌入 空 
间 ， 这 提高 了 知识 图 散 入 的 泛 化 能 力 。 此 外 ， 学 习 到 的 规则 的 置信 和 度 分 数 通过 软 
控制 每 个 规则 的 贡献 来 改善 逻辑 规则 推理 过 程 ， 从 而 缓解 了 规则 的 鲁 棒 性 问题 。 

规则 钳 入 表示 学 习 的 方法 能 够 提升 知识 推理 的 效率 和 可 解释 性 , 但 由 于 此 类 
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图 9 RPJE 的 模型 结构 
方法 本 质 上 还 是 对 知识 图 谱 进 行 谍 入 表示 ， 其 模型 整体 本 身 依然 是 不 可 解释 的 。 
换 句 话说 ， 此 类 方法 只 具有 结果 可 解释 性 ， 而 不 具有 过 程 可 解释 性 。 
5.2. 嵌入 表示 与 规则 相互 增强 的 知识 图 谱 推 理 
规则 学 习 和 衣 入 学 习 是 相辅相成 的 ， 一 方面 ,规则 可 以 为 稀 玻 知 识 图谱 推 断 
额外 的 三 元 组 ， 实 现 更 准确 的 圣 入 学 习 ; 另 一 方面 , 包含 丰富 语义 编码 的 散 入 表 
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示 可 以 将 离散 图 搜索 的 规则 学 习 转 化 为 向 量 空 间 的 计算 , 从 而 显著 缩小 搜索 空间 。 
因此 , 嵌入 表示 与 规则 相互 增强 的 方法 可 以 兼顾 效率 提升 和 推理 过 程 的 可 解释 性 。 

Zhang 等 [9 认为 , 现 有 的 规则 学 习 增 强 知识 图 谱 财 入 的 方法 只 利用 了 已 有 的 
规则 , 未 能 在 推理 过 程 中 利用 内 入 表示 对 规则 进行 更 新 , 这 会 对 推理 精度 造成 较 
大 影响 。 针 对 此 问题 ， 他 们 提出 了 IterE 方法 。IterE 以 同时 学 习 嵌 入 和 规则 为 目 
标 ， 在 每 次 友 代 中 根据 更 新 的 嵌入 推 央 出 新 的 规则 。IterE 算法 主要 包括 三 个 部 
分 : () 嵌 入 学 习 ，( 人 @) 公 理 归 纳 ，(3) 公 理 注 入 。 航 入 学 习 步 又 主要 是 利用 知识 图 
谱 中 存在 的 三 元 组 和 规则 推 肠 的 三 元 组 学 习 实体 和 关系 的 嵌入 ; 公理 归纳 步骤 利 
用 一 种 有 效 修剪 策略 生成 公理 池 , 然后 根据 线性 映射 假设 的 规则 结论 , 对 关系 髓 
入 进行 计算 ,为 池 中 的 每 个 公理 打分 ; 公理 注入 部 分 主要 是 利用 公理 的 演绎 能 力 ， 
WS HAE AS ZA BE HET LOSE PS PRY Bt = TCL, 并 将 这 些 新 三 元 组 注入 到 知识 图 
谱 中 ， 以 改进 稀疏 实体 谍 入 。IterE 的 模型 框架 如 图 10 所 示 。IterE 利用 公理 提高 
了 黎 玻 典 入 的 质量 ,利用 虑 入 提高 了 规则 学 习 的 效率 和 质量 ， 而 适 代 训练 则 确保 
了 更 好 的 链 路 预测 性 能 和 高 质量 的 规则 学 习 结 果 。 


KA Peg KA rus s a 


生成 带 分 数 的 公理 


rent) 
inv )P(hasChild, hasMother) 
inverseOP(hasChild, hasFather 


0.9 subOP(OPChain(hasFather, hasSpouse), hasMother) 


推断 新 三 元 组 


0.9 reflexiveOP(knows) (Ann, knows, Ann) 


0.9 symmetricOP(hasFriend) (Alice, hasFriend, Mike) — (Mike, hasFriend, Alic) 

0.9 symmetricOP(hasFriend) (Bob, hasFriend, Mike) «— (Mike, hasFriend, Bob) 

0.9 symmetricOP(hasFriend) (Bob, hasFriend, Alice) — (Alice, hasFriend, Bob) 

0.9 inverseOP(hasChild, hasParent) (John, hasParent, Bob) — (Bob, hasChild, John ) 

0.9 subOP(OPChain(hasSpouse, hasChild), hasChild) 。 | (Jack, hasChild, Bob) «— (Jack, hasSpouse, Wendy), (Wendy, hasChild, Bob) 


0.9 subOP(OPChain(hasFather, hasSpouse), hasMother) | (Boo, hasMother, Wendy) (Bob, hasFather, Jack), (Jack, hasSpouse, Wendy) 


图 10 IterE 的 模型 框架 

由 于 知识 图 谱 中 缺失 事实 的 存在 , 仅仅 利用 其 本 身 的 信息 学 习 到 高 质量 的 规 
则 是 困难 的 。 针 对 这 一 问题 ，Ho 等 [9 提出 了 一 种 在 三 元 组 缺失 的 背景 下 借助 嵌 
入 模型 反馈 来 学 习 高 质量 规则 的 方法 RuLES 。 该 方法 从 一 个 初始 的 规则 开始 ， 
逐个 在 规则 体 中 增加 原子 , 并 利用 联合 知识 图 谱 和 文本 语料库 训练 的 嵌入 模型 为 
规则 生成 的 三 元 组 进行 质量 评分 ， 以 修剪 和 更 新 规则 。RuLES 方法 的 步骤 如 图 
11 PAN. 


[再 则 学 习 


图 11 


规则 | ur, P) 


获取 规则 精炼 规则 | 
(规则 队列 >| 
g Sn mm) memu || exei (| | 一 BEAN 
pem 添加 即时 规则 - 


文本 语料库 
| 描述 质量 评分 x。 || 嵌入 预测 评分 
ala == MNT 


RuLES 方法 步骤 


RuLES 的 模型 输入 为 知识 图 谱 98、 文 本 语料库 和 用 于 终止 规则 构造 的 指定 
参数 ,包括 规则 学 习 、 和 藤 入 学 习 和 规则 评估 三 个 模块 。 规 则 学 习 模块 在 以 知识 图 
谱 为 依据 构建 规则 , 规则 评估 模块 使 用 9 和 髓 入 模型 给 出 的 质量 评分 函数 为 规 
则 > 提供 质量 分 数 上 (包括 基于 规则 的 描述 质量 评分 RU ST RC BY PU S YE 
A) h), WARAH G 和 文本 计算 ，P=(9, 了 ) 称 为 “概率 ”知识 图 谱 。 模 型 将 规 
则 建 模 为 原子 序列 ， 其 中 第 一 个 原子 是 规则 头 ， 其 他 原子 是 规则 体 。 初 始 阶段 ， 
出 现在 9 中 的 所 有 可 能 的 二 元 原子 都 被 添加 到 具有 空 规则 体 的 规则 队列 中 。 在 每 
次 迭代 中 ， 从 队列 中 选择 一 条 规则 。 知 规则 满足 过 小 条 件 ， 则 系统 将 其 作为 输出 
返回 ; 知 规则 未 被 过 滤 , 则 使 用 精炼 操作 进行 规则 扩展 , 将 新 候选 规则 加 入 队列 。 
通过 在 不 完整 图 谱 中 综合 评估 规则 质量 和 鸯 入 反馈 的 规则 质量 ，RuLES 能 学 到 
更 加 高 质量 的 规则 以 用 于 推理 。 

为 提升 谓词 数量 较 多 的 大 规模 知识 图 谱 推理 精度 ，Omran 等 5 提出 了 
RLvLR 方法 。 该 方法 结合 嵌入 表示 学 习 技 术 和 一 种 新 的 抽样 方法 ， 从 大 型 知识 
图 中 学 习 规 则 。RLVvLR 主要 应 用 了 三 种 技术 : (1) 子 图 采样 技术 ， 通 过 删除 与 目 
标 谓 词 相关 度 较 小 的 三 元 组 来 缩小 输入 知识 图 谱 的 规模 , 提升 候 入 表示 的 可 迁移 
性 ;，(2) 参 数 租 入 技术 ， 对 规则 进行 质量 评估 ; (3) 基 于 和 矩阵 运算 的 规则 质量 评估 
技术 ， 以 避免 昂贵 的 查询 应 答 操 作 。 首 先 ，RLvLR 将 目标 谓词 周围 路 径 长 度 小 
Tow 的 实体 及 关系 组 织 成 子 图 ， 然 后 对 子 图 进行 搜索 ， 碍 找 与 谓词 相关 的 路 径 
以 发 现 规 则 ， 采 用 RESCAL 方法 565 为 规则 中 的 实体 和 谓词 生成 谋 入 表示 ， 并 基 
于 语义 相似 和 谓词 共 现 的 思想 设计 评分 函数 , 指导 规则 修剪 , 得 到 候选 规则 集合 ; 
最 后 ， 通 过 有 效 的 邻接 矩阵 乘法 进行 最 终 评 佑 ， 得 到 一 套 封 闭 规则 。 在 RLVLR 
的 基础 上 , Orman 等 还 提出 了 一 种 从 知识 图 谱 流 中 学 习 规 则 新 方法 RLvLR-stream， 
用 于 完成 时 序 知识 图 谱 的 预测 。 RLvLR 在 规则 学 习 的 质量 和 效率 方面 性 能 突出 ， 
链 路 预测 的 精度 也 优 于 同类 方法 。 算 法 2 给 出 了 RLvLR 算法 的 具体 流程 。 

在 大 规模 知识 图 谱 中 ， 基 本 规则 的 数量 较 多 ，IterE 和 RULES ERARIS 
规则 相互 增强 的 方法 需要 对 基本 规则 进行 采样 来 解决 可 迁移 性 问题 , 这 对 推理 效 
率 产 生 了 很 大 影响 。 针 对 这 个 问题 ，Cheng 等 $1 提出 了 推理 框架 UniKER， 将 逻 
辑 规则 限制 为 Horn 规则 ， 充 分 利用 规则 中 的 知识 ， 使 规则 学 习 和 骨 入 表示 以 一 
种 高 效 的 方式 相互 增强 。 为 确定 Horn 规则 ，UniKER 设计 了 一 种 改进 的 前 向 链 

算法 2 RLvLR 的 规则 学 习 

Require: 知识 图 谱 人 SG ， 目 标 谓词 P ， 最 大 规则 长 度 / 

1. KG' = Sampling( KG, P) 

2. (P,.A) 2 Embedding (KG) 

3. R =O 

4for 2<k<l do: 

5. 添加 PathFinding(KG’, P,P, A, k) 至 R' 中 

6.end for 

7. R' = Evaluation (R', KG ) 

Ensure: 一 套 封闭 路 径 规 则 R 
迭代 算法 , 该 算法 采用 了 “惰性 推理 ”, 只 需要 用 到 基础 谓词 和 规则 中 的 一 小 部 分 ， 
并 能 在 推理 进行 时 激活 更 多 的 基础 谓词 和 规则 , 避免 了 大 量 从 未 使 用 过 的 基础 谓 
词 和 规则 的 计算 ， 极 大 地 提高 了 推理 效率 。 然 后 ， 通 过 基于 骨 入 的 变 分 推理 对 知 
识 图 谱 进 行 更 新 , 利用 组 入 表示 方法 添加 有 用 的 隐藏 三 元 组 , 删除 知识 图 谱 和 推 


断 结果 中 的 不 正确 三 元 组 。UniKER 充分 利用 了 规则 中 包含 的 知识 以 实现 更 好 的 
RA 同时 肉 入 表示 通过 提供 更 多 潜在 可 用 的 三 元 组 来 增强 正 向 链接 , 使 得 规则 
学 习 和 肉 入 表示 得 以 相互 促进 ， 共 同 提 升 推理 质量 。 

艇 入 表示 与 规则 相互 增强 的 方法 以 链 路 预测 和 规则 学 习 为 目标 , 可 以 更 快 地 
学 习 到 更 高 质量 的 规则 , 有 效 增强 推理 结果 的 可 解释 性 。 但 随 着 推理 跳 数 的 增加 ， 
预测 性 能 对 知识 图 谱 的 稀 朴 性 更 加 敏感 ， 推 理 效率 也 有 所 下 降 。 K 5 给 出 了 基于 
舱 入 表示 和 规则 的 推理 方法 的 相关 信息 。 


6 基于 神经 网 络 和 规则 的 知识 图 谱 推 理 


近年 来 , 深度 学 习 技 术 在 计算 机 视觉 、 自 然 语言 处 理 和 网 络 链接 预测 等 领域 任务 
中 都 取得 了 优异 的 性 能 , 也 已 经 被 广泛 用 于 知识 图 谱 的 表示 学 习 和 推理 中 。 深度 
学 习 方法 通过 建立 各 种 神经 网 络 模型 , 能 够 对 数据 内 部 的 隐 式 特征 和 相关 性 进行 
有 效 建 模 ， 在 速度 、 精 度 、 和 鲁 棒 性 和 泛 化 性 方面 表现 优越 ,但 无 法 提供 对 推理 结 
果 的 解释 。 融 合 神经 网 络 和 规则 以 实现 高 效 、 可 解释 的 推理 ， 已 经 成 为 知识 图 谱 
推理 的 研究 重点 。 根 据 神经 网 络 和 规则 在 推理 中 何者 占 主 导 作 用 , 可 以 将 此 类 方 
法 分 为 规则 改进 神经 网 络 建 模 的 知识 图 谱 推 理 和 神经 网 络 辅助 规则 学 习 的 知识 
图 谱 推 理 。 
6.1 规则 改进 神经 网 络 建 模 的 知识 图 谱 推 理 

规则 改进 神经 网 络 建 模 的 知识 图 谱 推 理 主 要 聚焦 如 何 利用 逻辑 规则 提升 神 
经 网 络 藤 入 和 预测 的 能 力 。 在 这 类 方法 中 , 神经 网 络 不 仅 学 习 知 识 图 谱 中 原始 观 
察 到 的 三 元 组 上 的 实体 和 关系 藤 入 , 还 学 习 根 据 一 些 预 定义 规则 推断 得 到 的 三 元 
组 或 基本 规则 。 规则 可 以 指导 神经 网 络 的 训练 过 程 ， 而 添加 的 三 元 组 可 以 作为 训 
练 数据 集 的 增 广 , 这 使 得 基于 神经 网 络 的 知识 图 谱 推 理 得 到 的 结果 更 加 具有 可 解 
释 性 ， 且 模型 的 效率 也 有 所 提高 。 
Wang 等 号 提出 了 逻辑 注意 力 网 络 (Logic Attention Network, LAN), 通过 聚合 基于 
规则 和 基于 网 络 的 注意 力 权 重 的 邻居 来 进行 实体 嵌入 。 他 们 首先 提出 ,一 个 理想 
的 领域 信息 聚合 器 具备 三 种 属性 , 即 置 换 不 变性 、 宛 余 感 知性 和 查询 关系 感知 性 ， 
并 基于 该 思想 设计 LAN。LAN 以 基于 RNNE8] 的 Encoder-Decoder 为 基本 框架 ， 
使 用 逻辑 规则 机 制 和 神经 网 络 机 制 来 联合 邻居 注意 力 。 风 辑 规则 机 制 用 于 在 粗 粒 
度 的 关系 水 平 上 估计 权重 ， 将 规则 之 间 的 潜在 依赖 关系 7 之 9(4 表 示 查 询 关 系 ) 
量化 表示 为 置信 度 P(r 之 9g)， 如果” 是 4 的 重要 邻居 ，7 应 当 满 足 P(r 之 9g) 足 够 
大 ，P(r' 坊 r+) 较 小 ， 其 中 x' 表 示 除 了 rr 和 4 之 外 的 其 他 关系 。 然 后 ， 定 义 逻 辑 
注意 力 权重 : 


gae: - P(r > q) 

iii max ((P(r' 2 r) re Ng (e)^r er] vA) 
通过 计算 aj? ”， 逻 辑 规则 机 制 解决 了 查询 关系 感知 和 邻 域 元 余 感 知 强度 问题 。 
同时 ， 引 入 神经 网 络 机 制 来 表示 细 粒 度 上 的 邻居 权重 ， 计 算 描 述 邻 居 嵌 入 后 的 重 
要 度 权 重 Qjs。。 最 后 ， 对 两 种 机 制 进行 加 权 求 和 以 描述 邻居 实体 重要 性 : 

P= ere tata) (8), (15) 
T, EGER eOONASCIAIRA, el 为 邻居 实体 嵌入 。LAN 对 实体 的 表示 
学 习 能 力 更 强 ， 在 推理 效率 、 准 确 度 和 可 解释 性 方面 有 明显 改进 。 


Sun SES tH. T AH FER Cd EE 25 h BRE CAS UU fi s AS E 
整 知 识 图 谱 推 理 方 法 GRAFT-Nets(Graphs of Relations Among Facts and Text 
Networks)。 该 方法 主要 有 两 个 方面 的 创新 ， 一 是 针对 知识 图 谱 节 点 与 文本 节点 ， 
分 别提 出 了 异 构 更 新 规则 , 构建 LSTMI6 用 于 更 新 文本 规则 节点 之 间 的 传播 信息 ; 
二 是 借鉴 个 性 化 PageRank(PPRJ)55] 算 法 的 思想 , 提出 了 一 种 有 向 传播 方法 约束 
骨 入 的 传播 方向 ， 使 其 始终 保持 在 问题 的 种 子 节 点 开始 的 路 径 方向 。 首 先 ， 针 对 
查询 问题 ， 使 用 LSTM 初始 化 文本 规则 的 潜在 表示 ， 然 后 利用 前 馈 网 络 分 别 对 
实体 和 文本 规则 节点 进行 更 新 , 最 后 利用 关注 关系 和 个 性 化 传播 引入 与 查询 问题 
之 间 的 依赖 ,前 者 确保 艇 入 更 多 地 沿 着 与 问题 相关 的 边 传 播 , 后 者 使 得 沿 着 与 问 
题 相 关 的 路 径 获 得 高 权重 .GRAFT-Nets 可 以 有 效 处 理 知识 图 谱 和 文本 的 异 构 图 ， 
从 包含 文本 规则 信息 和 实体 、 关 系 的 特定 问题 子 图 中 提取 答案 。 

大 多 数 般 入 表示 学 习 方法 假定 训练 时 所 有 测试 实体 都 是 可 用 的 , 这 导致 一 旦 
出 现 新 的 实体 ， 重 新 训练 嵌入 会 非常 耗 时 。 针 对 该 问题 ，He 等 9 提出 了 一 种 基 
于 图 神经 网 络 的 嵌入 表示 框架 一 一 虚拟 邻居 (Virtual Neighbor, VN) 网 络 。VN 网 
dé $ 基于 典 入 表示 和 规则 的 推理 方法 的 相关 信息 
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络 重 点 解决 三 个 方面 的 挑战 : 首先， 为 缓解 邻居 稀疏 性 ， 引 入 规则 推断 虚拟 邻居 
的 概念 , 即 通过 约束 规则 给 邻居 贴 上 软 标签 , 而 不 是 简单 的 将 其 视 为 固定 不 变 的 ; 
其 次 , 现 有 的 许多 方法 只 使 用 单 跳 或 双 跳 邻居 进行 聚合 ， 忽略 了 可 能 有 帮助 的 多 
BHURE. VN 网 络 利用 图 卷 积 网 络 ， 可 以 同时 识别 逻辑 和 对 称 路 径 规则 来 捕获 复 
杂 的 模式 ; 最 后 , 采用 迭代 学 习 方 法 来 捕捉 肯 入 表示 和 虚拟 邻居 预测 之 间 的 交互 ， 
对 规则 进行 更 新 学 习 。 图 12 给 出 了 VN 网 络 的 框架 。 框 架 主 要 包括 三 个 部 分 : 

(基于 规则 的 虚拟 邻居 预测 ; CC) 基于 加 权 图 卷 积 网 络 (Weighted Graph 
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Convolutional Network, WGCN) BE7] 捕 获 结构 信息 并 先入 实体 的 编码 器 ; (3) 计 算 边 
缘 概率 并 使 用 软 标签 对 模型 进行 细 化 的 解码 器 。VN 网 络 不 仅 推理 精度 更 高 ， 对 
邻居 稀疏 问题 也 具有 显著 更 强 的 鲁 棒 性 。 
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图 12 VN 网 络 框架 

MLN 能 够 利用 一 阶 逻 辑 的 领域 知识 ， 同 时 处 理 不 确定 性 ， 但 难以 适应 复杂 
图 结构 ， 推 理 困 难 。 神 经 网 络 建 模 有 较 高 的 推理 效率 ， 但 无 法 利用 领域 知识 。 
Qu 等 B89 提出 了 概率 逻辑 神经 网 络 pLogicNet, 它 结 合 了 MLN 和 神经 网 络 散 入 表 
示 学 习 的 优点 。pLogicNet 采用 具有 一 阶 逻 辑 的 马尔 可 夫 逻 辑 网 络 定义 所 有 可 能 
的 三 元 组 的 联合 分 布 ， 并 利用 变 分 EM 算法 对 其 进行 高 效 优 化 。 在 E 步 中 ,将 
变 分 分 布 参 数 化 为 知识 图 谱 租 入 模型 ， 并 使 用 平 挫 平 均 场 (Amortized 
Mean-Field)B9 推 断 来 计算 未 观测 三 元 组 的 似 然 概率 ， 以 推理 未 观测 到 的 三 元 组 。 
FEM 步 中 ， 根 据 观 察 到 的 三 元 组 和 预测 的 三 元 组 计算 伪 似 然 概率 ， 以 更 新 逻辑 
规则 的 权重 ， 最 后 使 用 梯度 下 降 法 进行 训练 。 

类 似 的 ，Vardhan 等 5 提出 了 基于 MLN 和 图 注意 力 网 络 趾 的 概率 逻辑 图 注 
意 力 网 络 (probabilistic Graph Attention neTwork, GAT, pGAT). pGAT 采用 变 分 
EM 算法 优化 MLN 定义 的 所 有 可 能 三 元 组 的 联合 分 布 ， 进 而 有 效 地 结合 一 阶 逻 
辑 和 图 注意 网 络 。 在 了 步骤 中 ， 使 用 GAT 先入 来 推断 未 观察 到 的 三 元 组 ; 在 M 
步 中 ,根据 观测 到 的 三 元 组 和 从 上 述 风 入 中 得 到 的 推断 三 元 组 对 马尔 可 夫 逻 辑 网 
络 规则 的 权 值 进行 更 新 。 pGAT 方法 的 框架 如 图 13 所 示 。pGAT 将 马尔 可 夫 逻 辑 
网 络 与 图 神经 网 网 络 相 结合 ， 既 利用 了 MLN 的 概率 逻辑 规则 表达 能 力 ， 也 利用 
了 图 注意 力 网 络 能 够 捕获 相 邻 实体 特征 、 适 应 高 度 复杂 图 问题 的 能 力 ， 能 够 应 用 
于 大 规模 的 复杂 知识 图 谱 推 理 。 


变 分 E 步骤 
根据 后 验 分 布 更 新 


a i Is-a(The Oriental Pearl Tower, Attraction) 
N N 

潜在 三 元 组 分 布 

Is-a(The Great Wall, Attraction) 


CityOf(Shanghai, China) 
CapitalOf(Beijing, China) 
LocatedIn(The Great Wall, Beijing) 


LocatedIn(The Oriental Pearl Tower, Shanghai) 


变 分 M- 步 又 CapitalOf(x, y) = CityOf(x, y) 


LocatedIn(x, y) ^ CityOf(y, z) > BelongTo(x, z) 
通过 最 大 化 伪 概 
率 似 然 更 新 MLN 


13 pGAT 方法 框架 


此 外 ，Zhang 等 中] 也 对 如 何 结合 图 神经 网 络 (Graph Neural Network, GNN)-5 
MLN 进行 了 研究 探索 ， 他 们 提出 了 ExpressGNN 方法 。ExpressGNN 的 本 质 是 
MLN 的 推理 网 络 ， 通 过 利用 编码 在 逻辑 规则 中 的 先 验 知识 ， 以 及 GNN 捕获 隐 
含 编码 在 知识 图 中 的 结构 知识 ， 将 MLN 推理 扩展 到 更 大 的 知识 图 谱 推 理 问题 。 
14 给 出 了 ExpressGNN 的 模型 框架 , 首先 , 用 MLN 对 所 有 观测 变量 和 潜在 变 
量 的 联合 概率 分 布 进行 建 模 ， 通 过 优化 数据 对 数 似 然 的 变 分 证 据 下 界 (Evidence 
Lower BOund, ELBO) 求 解 ， 然 后 ， 在 E- 步 又 中 采用 平均 场 分 布 来 近似 真实 后 验 
分 布 ， 并 使 用 GNN 来 参数 化 变 分 后 验 ; 最 后 ， 在 M- 步 又 中 ， 只 保留 基础 谓词 
Rit BAW, F MLN 中 变 分 后 验 固定 的 逻辑 公式 的 权重 。ExpressGNN 不 
仅 有 更 高 的 推理 精度 ， 还 能 通过 调整 GNN 和 骨 入 部 分 的 维度 来 权衡 模型 的 紧凑 
性 和 表达 性 。 此 外 ，ExpressGNN 可 以 处 理 目标 谓词 较 少 的 少 次 学 习 (few-shob) 或 
零 标 记 实 例 的 零 次 学 习 (zero-shob 问 题 。 


变 分 EM 算法 GNN 
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图 14 ExpressGNN 的 模型 框架 

此 外 ， 还 有 部 分 学 者 将 规则 作为 引导 强化 学 习 智 能 体 路 径 探索 的 辅助 知识 ， 
进行 知识 图 谱 推 理 。 例如 ,Lei 等 鸣 提 出 了 RuleGuider 方法 , 首先 使 用 AnyBURL 
方法 生成 的 高 质量 规则 为 智能 体 提 供 奖 励 监 督 , 然后 基于 规则 及 其 实体 变量 的 结 
构 ， 将 智能 体 分 解 为 两 个 子 智能 体 ， 即 实体 智能 体 和 关系 智能 体 。 实 体 智 能 体 将 
为 可 选择 的 实体 生成 实体 分 布 ; 关系 智能 体 对 关系 进行 采样 后 , 将 根据 所 选 关系 
修剪 实体 空间 。 实体 代理 然后 基于 修剪 后 的 实体 空间 对 实体 进行 采样 。 在 最 后 一 
步 , 他们 根据 最 后 选择 的 实体 获得 命中 奖励 ， 并 根据 选择 的 关系 路 径 从 预先 挖掘 
的 规则 集中 获得 规则 指导 奖励 。 

Xia 等 553 针 对 稀 玻 知识 图 谱 的 推理 ， 提 出 了 一 种 具有 强化 学 习 的 混合 多 跳 推 
理 方 法 SparKGR 。 该 方法 使 用 规则 引导 来 动态 地 完成 缺失 路 径 ， 以 增加 强化 学 
习 智 能 体 的 动作 空间 ， 以 缓解 知识 图 谱 的 不 完整 性 和 稀疏 性 ; 然后 设计 了 规则 归 
纳 和 事实 推理 的 迭代 优化 方法 ,以 结合 来 自 知 识 图 谱 的 全 局 信息 , 来 指导 智能 体 
的 探索 。SparKGR 能 够 有 效 降低 知识 图 谱 的 稀疏 性 ， 提 升 路 径 探 索 效 率 ， 在 保 
证 可 解释 性 的 前 提 下 有 效 提升 推理 准确 度 。 智 能 体 利 用 动态 路 径 补 全 、 和 迭代 规则 
引导 和 策略 函数 引导 3 种 策略 选择 下 一 步 的 动作 空间 , 最 后 将 3 种 策略 的 概率 分 
布 加 权 求 和 ， 确 定 智 能 体 的 下 一 步 动 作 。 图 15 呈现 了 SparKGR 的 动态 路 径 补 全 
策略 和 迭代 规则 引导 策略 。 

利用 规则 改进 神经 网 络 建 模 的 方法 可 以 为 神经 网 络 的 训练 和 参数 学 习 等 提 
供 数据 辅助 和 方向 指导 ,使 得 推理 结果 具有 一 定 的 可 解释 性 ,但 方法 没有 从 模型 
内 部 结构 和 参数 揭示 规律 ， 未 能 从 根本 上 改变 神经 网 络 的 “ 黑 盒 ”性 质 。 规 则 和 


深度 强化 学 习 相 结合 的 方法 具有 较 强 的 可 解释 性 , 但 其 可 解释 性 来 自 于 智能 体 对 
路 径 的 探索 ， 而 并 非 神经 网 络 本 身 。 
6.2 神经 网 络 辅助 规则 学 习 的 知识 图 谱 推 理 

此 类 方法 通过 发 挥 神经 网 络 的 优势 来 处 理 数据 的 不 确定 性 和 模糊 性 问题 , 缩 
小 规则 推理 的 搜索 空间 ， 以 发 现 更 高 质量 的 规则 用 于 知识 图 谱 推理 ， 主 要 包括 基 
于 神经 定理 证 明 的 方法 、 基 于 和 矩阵 乘法 的 方法 、 基 于 神经 归纳 学 习 的 方法 等 。 

(1) 基于 神经 定理 证 明 的 方法 

基于 神经 定理 证 明 的 方法 以 Prolog 编程 语言 09 为 基础 。Prolog 是 一 种 演绎 
推理 逻辑 编程 语言 ， 包 含 谓 词 匹配 、 规 则 求解 、 回 调 判 别 等 步骤 ， 通 过 递归 匹配 
算法 与 神经 网 络 供 入 表示 相 结合 , 执行 知识 推理 , 并 提供 可 解释 的 定理 证 明 路 径 。 
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图 15 SparKGR 的 动态 路 径 补 全 策略 和 友 代 规则 引导 策略 

Rocktaschel “7125 4 Prolog 和 IP， 提 出 了 端 到 端的 知识 推理 方法 
NTP(Neural Theorem Prover). NTP 借鉴 Prolog 的 反问 链接 算法 递归 构建 神经 网 
络 , 对 符号 的 密集 问 量 表示 进行 操作 , 然后 利用 可 微 证 明 器 (Differentiable Prover, 
DP) 对 知识 图 谱 的 推理 进行 端 到 端 可 微 证 明 。NTP 以 原子 、 规 则 及 其 证 明 状 态 作 
为 输入 ， 并 返回 一 个 新 的 证 明 状 态 列 表 。 首 先 利 用 DP 的 三 个 模块 来 证 明知 识 图 
谱 上 的 查询 : () 统 一 模块 ， 用 径 和 癌 基 函数 核对 规则 原子 的 向 量 表示 进行 可 微 计 
算 来 代替 符号 统一 ,从 而 将 规则 推理 与 学 习 原 子 和 规则 的 向量 表示 相 结 合 ; (2)OR 
模块 ， 在 知识 图 谱 中 应 用 规则 ; (GAND 模块 ， 用 于 验证 成 功 或 失败 ， 并 与 OR 
模块 递归 ， 用 于 证 明 状态 和 子 目 标 。 然 后 ， 通 过 证 明 汇总 来 计算 目标 的 证 明成 功 
分 数 。 最 后 ， 利 用 梯度 下 降 算 法 将 NTP 用 于 ILP， 蔡 代 传 统 的 组 合 搜索 策略 ， 
对 神经 网 络 进行 训练 ， 并 借助 预测 误差 反问 传播 从 数据 中 学 习 可 解释 的 规则 。 
NTP 可 以 从 给 定 的 不 完整 知识 图 谱 中 推断 事实 ， 还 引入 了 可 解释 的 一 阶 逻 辑 规 
则 。 然 而 , 该 方法 的 执行 过 程 需 要 枚 举 和 评价 给 定 目标 的 所 有 有 界 深度 证 明 路 径 ， 
这 导致 NTP 方法 在 大 型 知识 图 谱 中 效率 低下 。 

针对 NTP 难以 适用 于 大 型 知识 图 谱 的 问题 ，Minervini 等 [98] 提 出 了 其 改进 
方法 GNTP(Greedy NTP)， 通 过 在 共享 的 嵌入 空间 中 艇 入 轩 辑 事实 和 自然 语言 名 


子 ， 对 知识 库 和 文本 进行 联合 推理 。 针 对 NTP 存在 的 问题 ，GNTP 利用 三 种 技 
术 了 予以 处 理 : () 使 用 事实 庶 入 来 选择 用 于 证 明子 目标 的 最 近邻 事实 ， 使 用 关系 
奶 入 来 选择 要 扩展 的 规则 ， 从 而 只 考虑 与 最 大 证 明 分 数 相 关 的 证 明 路 径 的 子 集 ， 
减少 候选 证 明 路 径 的 数量 ， 降 低空 间 复杂 性 ; (2) 引 入 规则 归纳 的 注意 力 机 制 来 
处 理 已 知 谓词 ， 提 高 模型 的 参数 效率 ， 降 低 时 间 复 杂 性 ;G) 将 NTP 扩展 到 自然 
语言 ， 使 用 端 到 端 可 微 读 取 部 分 ， 在 共享 空间 中 联合 嵌入 谓词 和 文本 表面 模式 ， 
以 充分 利用 自然 语言 文本 信息 ， 为 推理 提供 更 多 知识 。GNTP 在 保持 NTP 方法 
可 解释 性 的 基础 上 , 缓解 了 其 复杂 性 和 可 迁移 性 的 限制 , 使 其 能 够 应 用 于 真实 世 
界 的 大 规模 知识 图 谱 。 

NTP 在 训练 过 程 中 需要 考虑 解释 给 定 目标 或 子 目标 的 所 有 规则 ， 导 致 其 在 
大 量规 则 或 推理 步骤 的 情况 下 效率 显著 降低 。 为 了 缩小 规则 搜索 空间 ，Minervini 
等 多 又 提出 了 CTP(Conditional Theorem Prover) 方 法 。 该 方法 通过 构建 神经 网 络 
动态 生成 最 小 规则 集 ， 并 采用 基于 梯度 的 优化 来 学 习 最 优 规则 选择 策略 。 对 于 每 
ATHER CTP 的 选择 模块 首先 动态 生成 最 小 规则 集合 ， 以 便 在 后 续 的 推理 步骤 
中 使 用 。 然 后 ， 对 规则 选择 提出 了 三 种 重组 方法 ， 即 神经 目标 重组 、 注 意 力 目 标 
重组 、 基 于 记忆 的 目标 重组 。 其 中 ， 神 经 目标 重组 将 “选择 ”操作 定义 为 目标 谓 
词 的 线性 函数 ， 以 子 目标 为 条 件 生 成 一 组 较 少 的 规则 , 还 可 以 在 下 游 推 理 任 务 中 
HEFT vig BUM VIZ; 注意 力 目标 重组 基于 谓词 生成 关系 集合 上 的 注意 力 分 布 ， 以 在 
选择 模块 中 加 入 有 用 的 先 验 ; 基于 记忆 的 目标 重组 模块 将 规则 存储 在 可 微分 存储 
at, 它 可 以 在 给 定 目标 的 前 提 下 ， 在 规则 上 产生 注意 力 分 布 ， 以 用 于 关键 值 记 
忆 碍 找 。 相 比 NTP，CTP 有 具有 更 强 的 可 迁移 性 和 更 高 的 推理 准确 度 。 

此 类 方法 的 缺点 是 ,进行 定理 证 明 往往 需要 进行 计算 量 较 大 的 规则 搜索 ,但 
规则 搜索 的 精度 和 效率 难以 权衡 兼顾 。 此 外 , 神经 定理 证 明 方法 本 身 是 一 种 演绎 
推理 方法 ， 无 法 发 现 新 的 规则 。 

(2) 基于 和 矩阵 乘法 的 方法 

此 类 方法 将 关系 定义 为 二 维和 矩阵 ， 用 和 矩阵 乘法 来 表示 多 跳 推 理 ， 并 利用 循环 
神经 网 络 来 模拟 规则 推理 。 和 矩阵 乘法 是 可 微 的 ， 因此 模型 可 以 实现 规则 参数 和 规 
则 结构 的 同步 学 习 ， 处 理 复 杂 的 知识 图 谱 推 理 任务 。 此 外 ,推理 过 程 是 由 每 个 层 
次 的 矩阵 乘法 逐 层 运算 得 到 的 ， 可 以 为 推理 结果 提供 更 清晰 的 解释 依据 。 

Cohen 提出 了 概率 演绎 数据 框架 TensorLogU99l, 该 框架 可 以 推断 加 权 链 式 导 
辑 规则 ， 以 解释 知识 图 谱 中 的 关系 ， 进 而 用 于 知识 推理 。 在 TensorLog 中 ， 知 识 
图 谱 的 每 个 实体 用 独 热 供 入 表示 ， 每 个 关系 尺 被 表示 为 矩阵 Ma ， 其 中 如 果 
R(i,j) 在 图 中 ， 则 每 个 元 素 Mili,j|=1 。 然 后 ， 给 出 一 个 规则 7: 
R(X,Y)2 P(X,Z)AQ(Z.Y) 以 及 头 实体 不 ， 可 以 通过 执行 矩阵 乘法 
M; M; yx 来 进行 答案 的 逻辑 推理 。 由 于 查询 关系 可 以 由 多 条 规则 解释 ， 因 此 
通过 组 合 所 有 规则 来 计算 查询 关系 的 得 分 ， 即 : 

其 中 7 表示 所 有 可 能 的 规则 ，%; 是 与 7 相关 的 置信 和 度 ，pb, 是 7Y 中 所 有 谓词 的 有 序 
列表 。 在 推理 过 程 中 ,给 定 头 部 实体 ,每 个 正确 答案 了 满足 R(X,7) 的 概率 被 
AWE, BP: 


max, DY Pa ITM, ^] (17) 


TensorLog 首先 将 逻辑 规则 中 的 每 个 子 句 转换 为 因子 图 图 中 的 每 个 节点 表示 规 
则 中 的 一 个 变量 , 每 条 边 表 示 规 则 中 一 个 谓词 或 关系 。 然后， 对 因子 图 的 不 同类 
型 查询 ， 执 行 信念 传播 (Belief Propagation, BP)， 所 需 的 消息 传递 步骤 被 “展开 ?” 
为 一 个 可 微 函 数 ， 进 而 计算 概率 。 最 后 将 这 些 可 微 函 数 进行 递归 组 合 ， 可 以 实现 
在 包含 多 个 相互 关联 的 规则 和 谓词 的 非 平凡 逻辑 理论 中 执行 推理 。 

TensorLog 以 可 微 矩阵 生成 的 方式 估计 规则 置信 度 ， 但 是 无 法 生成 新 的 逻辑 
UU, 此 外 , 由 于 每 个 规则 都 与 一 个 参数 相关 联 , 而 枚 举 规则 的 计算 复杂 度 很 高 ， 
因此 参数 学 习 十 分 困难 。 针 对 TensorLog 的 缺点 ，Yang 等 000 提 出 了 神经 逻辑 编 
程 (Neural Logic Programing, Neural LP), X} TensorLog 的 矩阵 推理 框架 进行 了 改 
XE. Neural LP 交换 了 对 式 17 中 的 总 和 及 乘积 ， 并 将 规则 的 权重 分 解 为 规则 中 谓 
词 的 权重 。 为 了 处 理 不 同 长 度 的 规则 ，Neural LP 还 设计 了 一 种 递归 方法 来 对 规 
则 进行 动态 建 模 : 


Uy) —Vy, 


RI 


t-l 
u,-Y aM, 5S for 1<t<T, (18) 
k t=0 


T 
= T 
Urna = DP rat T? 


7 是 规则 的 最 大 长 度 ，|R| 是 知识 图 谱 中 的 谓词 数量 ，u 是 输入 实体 vx 的 辅助 存 
储 向 量 。 在 每 一 次 递归 中 ， 首 先 使 用 记忆 注意 力 向 量 b, 计算 先前 辅助 存储 向 量 
的 加 权 平 均值 ， 然 后 利用 操作 注意 力 向 量 a, 进行 TensorLog 运算 。 最 后 ， 计 算 所 
有 辅助 存储 问 量 的 权重 平均 值 ， 并 使 用 注意 力 来 控制 规则 的 长 度 。 对 使 用 RNN 
建 模 对 a, 和 b, 进行 建 模 求 解 ， 并 以 其 为 依据 从 重建 规则 及 其 置信 和 度 。 

Neural LP 在 处 理 年 龄 、 体 重 、 科 学 测量 等 数字 特征 方面 受到 限制 ， 导 致 其 
能 够 表示 的 规则 类 型 受 限 。 为 此 ，Wang 等 [0 提出 了 Num-Neural LP 方法 ， 以 学 
习 数 值 型 规则 。 该 方法 在 Neural LP 的 基础 上 ， 通 过 使 用 动态 规划 和 累积 和 运算 
来 表达 数值 比较 器 运算 符 ， 并 将 其 与 稀世 Eo 以 适应 密集 的 运算 。 
此 外 ，Num-Neural LP 还 添加 了 两 种 运算 符 : 一 是 分 类 运算 符 ， 用 于 比较 实体 属 
性 上 的 函数 ， 二 是 否定 运算 符 ， 基 于 局 部 封闭 世界 假设 ， 对 于 给 定 的 取 反 算 子 ， 

只 翻转 至 少 包含 一 个 非 零 元 素 行 中 的 元 素 。Num-Neural LP 能 够 聚合 提取 表达 能 

力 更 强 的 规则 学 习 到 的 规则 具有 更 高 的 质量 ， 推 理 结果 也 更 准确 。 

为 从 知识 图 谱 中 挖掘 变 长 一 阶 逻辑 规则 ， Sadeghian 4 等 093] 提 出 了 端 到 端 可 微 
模型 DRUM. DRUM 能 同时 学 习 规 则 结构 和 置信 度 分 数 ， 实 现 归纳 和 可 解释 的 
知识 图 谱 推 理 。 首 先 ， 将 规则 推理 转换 为 向量 之 间 的 连 乘 计算 。 然 后 ， 引 入 邻接 
矩阵 为 单位 阵 工 的 特殊 关系 B,， 以 学 习 变 长 的 规则 ,并 引入 置信 和 度 张 量 来 避免 学 
习 到 置信 度 较 高 的 错误 规则 。 最 后 ， 利 用 Bi-RNN 能 够 捕捉 原子 在 规则 中 的 前 后 
顺序 信 ， 建 模 规 则 头 和 规则 体 中 关系 的 关联 。 除 了 推理 准确 度 方面 的 优 
势 外 ，DRUM 还 可 以 进行 归纳 式 推 理 ， 处 理 未 出 现 过 的 实体 ， 具 有 较 强 的 可 解 
释 性 。 

性 质 ，TensorLog、Neural LP 和 Num-Neural LP 等 多 数 方 
法 只 能 学 习 链 式 逻辑 规则 , 无 法 适用 于 树 状 和 合 取 等 复杂 的 规则 形式 。 基 于 特定 


Il 


的 头 实体 来 推断 规则 会 影 


响 此 类 方法 的 泛 化 能 力 。 此 外 , 由 于 该 类 方法 中 , 实体 、 


关系 和 规则 到 和 矩阵 的 转化 依赖 于 嵌入 表示 方法 ， 因 此 模型 本 号 的 鲁 棒 性 不 强 。 
(3) 基于 神经 归纳 学 习 的 方法 
此 类 方法 利用 图 神经 网 络 、 循环 神经 网 络 等 进行 归纳 式 过 辑 规 则 学 习 , 进而 


执行 推理 预测 。 图 神经 网 络 以 图 数据 作为 表征 方式 ， 


能 够 对 节点 和 关系 进行 优化 


计算 , 并 且 考 虑 了 节点 的 隐 层 信息 、 邻 居 节 点 信 | 入 和 图 吉 构 信息 ， 非 常 适用 于 知 


识 图 谱 的 规则 学 习 。 而 循环 神经 网 络 在 建 模具 有 顺序 信 ， 
样 能 够 应 用 于 知识 图 谱 推 理 


内 容 。 


Yang 等 000 提 出 了 神经 轴 辑 


方法 。NLIL 通过 结合 原 


台 语句 (Primitive Statement) 来 处 理 非 链 式 规则 。 
句 是 指 适用 于 逻辑 变量 或 某 些 运算 符 结果 的 谓词 。 


忌 的 数据 中 表现 出 色 , 同 
中 。 神 经 归纳 学 习 在 近 几 年 成 为 了 学 者 们 研究 的 重点 


& 1H 2^£ 7] (Neural Logic Inductive Learning, NLIL) 


原始 nig 


一 元 原始 语句 包含 从 某 个 变量 


开始 的 关系 路 径 ， 二 元 原始 语句 包含 分 别 从 两 个 不 同 变量 开始 的 两 条 关系 路 径 ， 


原始 语句 还 能 通过 {和信 ,v, 一 | 运算 符 进行 逻辑 


辑 规则 的 能 力 ， 如 图 15 Brox. FERRARA, ATA 
的 重要 性 权重 ， 利 用 三 个 堆 著 的 Transformer!!! 28 51677 2] A [8] AYERS) 8] 8E 


链 式 规则 


树 状 规 则 


合 取 规 则 


时 组 合 ， 这 使 其 具备 表示 树 状 和 合 取 届 
角 定 不 同 原始 语句 逻辑 组 合 


Lives in(X,Z) = Part_of(X,Y)/\Located_in(Y,Z) 
D Located in JY }C Part_of HX) 


Person(X)=Team(Y) /\ Located_in(Y,Z) /\ Lives_in(X,Z) 


Team(X) & City(Y) ^ Located_in(X,Y) APart of (Z,X) 
/\ Person(Z) 


@—-G@=D-—@-G=D 


16 NLIL 能 够 学 习 的 规则 类 型 


Dong 等 0090 提 出 了 


通过 在 一 组 固定 的 对 象 上 将 谓词 固定 为 True 或 False， 进 而 使 用 张 量 来 表示 逻辑 


种 用 于 归纳 学 习 和 逻辑 推理 的 神经 


符号 体系 结构 
神经 逻辑 机 (Neural Logic Machines, NLM). NLM 利用 神经 网 络 作 为 函数 逼近 器 ， 
运用 逻辑 编程 处 理 具 有 有 性质、 关系、 逻辑 连接 词 和 量词 的 对 象 。 在 内 部 ，NLM 


谓词 。 然 后 ， 利 用 多 层 感 知 机 (Multi-Layer Perceptron, MLP) 建 立 神 经 体系 结构 来 
学 习 规则 ， 该 体系 结构 中 使 用 布尔 逻辑 和 扩展 、 缩 减 等 量化 手段 来 表示 元 规则 。 
在 对 小 规模 任务 进行 训练 后 ,， NLM 可 以 恢复 提升 的 规则 ， 并 推广 到 大 规模 任务 。 
Chen 等 no 提出 了 一 种 基于 GNN 的 图 协同 推理 Collaborative 
Reasoning, GCR) 方 法 ， PIE ESE HF ER AJAH 邻 链接 信 ， 
系 推理 ， 并 利用 GNN 的 消息 传递 功能 来 聚合 相 邻 链 路 的 丰富 信息 ， 以 实现 高 效 


推理 。 首 先 把 图 结构 转换 为 Horn 规则 的 逻辑 


Oy aR Alii 


普 进行 关 


表达 式 ， 从 而 将 知识 推理 任务 转换 


为 神经 逻辑 推理 问题 。 然后 将 每 个 三 元 组 编码 为 谓词 虞 入 ,并 将 每 个 关系 建 模 为 


神经 模块 来 编码 三 元 组 。 最 后 ， 通 过 编码 的 谓词 嵌入 ， 根 据 建 模 的 Horn 规则 使 
用 神经 模块 来 构建 网 络 结构 ， 并 使 用 反 向 传播 来 学 习 模 型 参数 。GCR 可 以 充分 
利用 链接 之 间 的 逻辑 关系 , 不 需要 手动 预定 义 规则 , 具有 较 强 的 可 解释 性 和 可 于 


移 性 ， 特 别 是 适用 于 数据 稀 朴 的 知识 图 谱 推理 。 


17 GralL 方法 的 步 又 

为 在 含有 不 完备 训练 集 的 知识 图 谱 中 实现 高 效 的 归纳 式 推理 ，Teru SNOSE 
出 了 一 种 基于 图 神经 网 络 的 关系 预测 框架 GralL(Graph Inductive Learning). GralL 
可 以 挖掘 一 阶 逻 辑 规则 , 通过 学 习 子 图 舱 入 表示 ， 从 候选 关系 周围 的 子 图 结构 预 
测 关 系 。GralL 主要 包括 三 个 步骤 : (1) 子 图 提取 , 提取 目标 节点 周围 的 封闭 子 图 ， 
以 挖掘 包含 推导 目标 节点 之 间 关 系 所 需 的 逻辑 证 据 ， 对 规则 进行 显 式 编码 ; (2) 
节点 标签 化 ， 利 用 节点 与 周围 子 图 节点 的 距离 构建 节点 特征 矩阵 ， 作 为 GNN 的 
输入 ， 以 初始 化 神经 消息 传递 算法 ，(3)GNN 评分 ， 使 用 GNN 对 三 元 组 的 可 能 
性 进行 评分 。 使 用 神经 消息 算法 , 通过 将 节点 表示 与 邻居 表示 的 聚合 Caggregate) 
相 结 合 (combine〉 来 迭代 更 新 节点 表示 。 例 如 ， 对 于 GNN 的 第 层 ， 节 点 表示 
的 迭代 更 新 公式 如 下 : 


a! = AGGREGATE (fht: se N (Da 


(19) 
h; = COMBINE' (he ,ar ), 


a 是 来 自 邻 居 的 聚合 消息 ， 了 表示 第 大 层 中 节点 ! 的 潜在 表示 ， 人 W (1) 表 示 节 点 t 
的 直接 邻居 集 。AGGREGATE 函数 基于 多 关系 R-GCN029 和 边缘 注意 力 定 义 ， 
COMBINE 函数 由 R-GCN 的 ReLU 函数 确定 。 最 后 ， 利 用 子 图 表示 hou,) H 
标 节点 的 潜在 表示 hv ,hy 和 目标 关系 的 散 入 表示 @, 来 计算 三 元 组 (wu,7,v) 的 可 能 
性 分 数 ， 即 : 


score(u,r,,v)- W" LONE Oh; Oh; Ge, | (20) 


根据 可 能 性 分 数 的 大 小 进行 推理 。 图 17 展示 了 GralL 方法 的 流程 步 又。GraIL 
可 以 学 习 一 阶 逻 辑 规 则 的 有 用 子 集 ,推理 出 训练 集中 不 存在 的 实体 , 相 比 其 他 归 
纳 式 推理 方法 有 着 更 强 的 精度 和 可 解释 性 。 

GralL 方法 开启 了 利用 图 神经 网 络 进行 归纳 式 逻 辑 规则 学 习 的 研究 序幕 。 之 
后 , 研究 人 员 开 展 了 多 项 相关 改进 工作 。 针 对 GralL 在 提取 目标 三 元 组 的 封闭 子 
图 时 忽略 了 知识 图 谱 的 方向 性 质 ， 导 致 其 无 法 处 理 不 对 称 和 反对 称 关系 的 问题 ， 
Mai 等 009 基 于 GraIL 提出 了 CoMPILE 方法 ， 利 用 节点 - 边 通信 消息 传递 机 制 来 
取代 原来 的 GNN， 以 衡量 关系 的 重要 性 。 该 方法 首先 为 三 元 组 提取 有 向 封闭 子 
图 ， 然后 扩展 通信 消息 传递 网 络 框架 ， 以 加 强 实体 和 关系 之 间 的 信息 交互 ， 同时 
更 新 边缘 和 实体 嵌入 。 最 后 ， 利 用 边 感知 注意 力 机 制 来 聚合 局 部 邻 域 特 征 ， 并 收 
集 全 局 实体 信息 ， 以 丰富 实体 和 关系 表示 。 相 比 GralL, CoMPILE 能 够 在 控制 模 
型 参数 数量 的 前 提 下 , 在 有 向 子 图 中 执行 通信 消息 传递 ， 以 处 理 不 对 称 和 反对 称 
关系 。 


此 外 , 还 有 一 些 归 纳 式 知识 逻辑 规则 学 习 方 法 , 不 是 以 Grall 为 基础 改进 的 ， 
但 相 比 Grall 在 性 能 上 都 有 所 提升 。 例 如 ， 针 对 GralL 方法 没有 考虑 语义 相关 性 
的 问题 ，Chen 等 010 提 出 了 TACT(Topology-Aware CorrelaTions) 方 法 ， 考 虑 子 图 
中 关系 之 间 的 相关 性 ， 对 关系 相关 网 络 进行 编码 ， 以 增强 封闭 子 图 的 编码 ， 执 行 
的 拓扑 感知 校正 ,针对 实体 独立 关系 建 模 需求 和 离散 逻辑 推理 可 解释 性 难以 权 
衡 的 问题 ，Lin 等 1 提出 了 ConGLR 方法 ， 将 上 下 文 图 和 人 逻辑 推理 结合 起 来 ， 
在 抽取 目标 头 尾 实体 的 封闭 子 图 的 基础 上 , 构建 包含 关系 路 径 、 关 系 和 实体 的 上 
下 文 图 , 并 利用 感知 注意 力 的 图 卷 积 网 络 处 理子 图 和 上 下 文 图 , 最 后 通过 将 关系 
路 径 作 为 规则 体 ， 目 标 关 系 作 为 规则 头 ， 结 合 神经 计算 和 逮 辑 推理 ， 计 算 置 信 分 
数 。 针 对 稀疏 子 图 难以 处 理 的 问题 ，Xnu 等 3 提出 了 SNRI(Subgraph Neighboring 
Relations Infomax) 方 法 ,利用 相 邻 关系 特征 和 相 邻 关系 路 径 来 捕捉 子 图 中 实体 的 
完全 相 邻 关系 ,并 通过 互信 息 最 大 化 对 相 邻 关系 路 径 进 行 全 局 建 模 ,进而 将 完整 
的 关系 信息 合并 到 封闭 子 图 中 , 建 模 相 邻 的 关系 路 径 , 提高 归纳 推理 预测 的 性 能 。 
Zha 314% HH BERTRL(BERT-based Relational Learning) 将 预 训练 语言 模型 与 
关系 学 习 相 结合 ， 首 先 利用 对 知识 图 进行 线性 化 处 理 ， 作 为 BERT 的 有 效 输入 ， 
然后 建立 BERT 模型 对 推理 路 径 进 行 编 码 ， 最 后 利用 bag scoring 方法 聚合 三 元 
组 路 径 和 推理 路 径 的 评分 ，BERTRL 的 框架 如 图 18 所 示 。 

子 图 提取 知识 线性 化 模型 训练 
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图 18 BERTRL 的 模型 框架 

为 了 从 潜在 规则 中 获得 实体 相关 的 关系 语义 , 进而 解决 子 图 中 规则 稀缺 导致 
的 监督 不 足 问题 ，Pan 等 上 4 基于 图 卷 积 网 络 提出 了 归纳 路 径 的 关系 对 比方 法 
RPC-IR(Relational Path Contrast for Inductive Reasoning)77 7X . RPC-IR 包含 三 个 步 
JE: (1) 从 目标 三 元 组 的 封闭 子 图 中 提取 路 径 ， 并 产生 关系 路 径 的 正 负 样本 进行 
MTEL; (2) 使 用 GCN 获得 正 样本 和 负 样 本 的 供 入 表示 ; ”(3) 用 子 图 和 关系 路 径 对 
目标 三 元 组 进行 评分 , 并 使 用 一 种 同时 考虑 监督 信息 和 对 比 信息 的 策略 进行 联合 
训练 。 通 过 这 些 步骤 ， 根 据 关 系 路 径 的 置信 度 确 定 规则 。 

GralL 及 其 改进 方法 将 规则 视 为 路 径 ， 而 大 规模 图 谱 中 的 路 径 挖掘 往往 面临 
巨大 的 搜索 空间 。 针 对 该 问题 ，Yan 等 05 提 出 了 CBGNN(Cycle Basis Graph 
Neural Network) 方 法 ， 从 代数 拓扑 的 角度 将 逻辑 规则 视 为 循环 ,建立 GNN 模型 ， 
利用 其 消息 传递 功能 在 循环 空间 中 运行 隐 式 代数 运算 ,以 学 习 循 环 的 表示 , 然后 
通过 探索 循环 空间 的 线性 结构 学 习 规则 ， 进 而 执行 知识 推理 。 图 19 给 出 了 
CBGNN 的 模型 结构 。 方 法 主要 包含 两 个 阶段 。 在 第 一 阶段 ， 构 建 循环 基 ， 并 为 
每 个 循环 基 构 建 循环 图 。 在 循环 图 中 ,节点 表示 基 中 的 循环 ， 如 果 节 点 对 应 的 循 
环 具有 较 强 的 交互 作用 , 则 认为 节点 是 连接 的 。 循环 的 信息 可 以 转换 为 第 二 阶段 
的 新 图 中 的 节点 特征 。 第 二 阶段 ， 在 循环 图 上 建立 GNN， 以 学 习 循环 的 置信 值 ， 
并 将 其 映射 为 目标 三 元 组 的 置信 值 。 在 该 阶段 中 , 不 同 的 循环 基 构 建 不 同 的 GNN， 
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但 这 些 GNN 共享 权重 ， 并 可 以 通过 对 其 进行 聚合 计算 三 元 组 的 置信 度 。 相 比 基 
于 规则 路 径 的 方法 ，CBGNN 方法 具有 更 高 的 效率 ， 同 时 为 将 高 级 拓扑 信息 纳入 
图 表示 学 习 提 供 了 启发 。 

针对 神经 逻辑 编程 方法 搜索 空间 过 大 和 强化 学 习 方 法 奖励 稀疏 导致 的 推理 
效率 问题 ，Qu 等 (19 提出 了 RNNLogic 模型 。 RNNLogic 将 逻辑 规则 视 为 一 个 潜 
在 变量 ， 并 用 逮 辑 规则 训练 规则 生成 器 和 推理 预测 器 。 其 中 ， 规 则 生成 器 使 用 
RNN 参数 化 。 在 模型 优化 的 过 程 中 ， 采 用 一 种 基于 EM 的 优化 算法 。 在 每 次 迭 
代 中 ， 首 先 对 推理 预测 器 进行 更 新 ， 以 探索 用 于 逻辑 推理 规则 。 然 后 ， 在 卫 步 
又 中 ， 通 过 后 验 推 理 ， 从 所 有 生成 的 规则 中 选择 一 组 高 质量 的 规则 ;在 M 步骤 


19 CBGNN 的 模型 结构 
中 ,使 用 在 E 步骤 中 选择 的 规则 来 更 新 规则 生成 器 。RNNLogic 的 模型 框架 如 图 
20 所 示 。 其 中 ，4 代表 查询 ，z 表示 规则 的 潜在 表示 ，0 和 w 表 示 模 型 参数 ， 
po (z1q) 表 示 由 查询 生成 规则 潜在 分 布 的 先 验 概率 ，p,, (a19,q,z) 表示 根据 知识 
图 谱 、 规 则 潜在 表示 和 查询 确定 的 答案 的 概率 似 然 。 


fn 规则 生成 器 逻辑 规则 推理 预测 器 答 
c — > 一 一 一 一 一 MÀ 
q - (hr,?) De (z|q) | 2 ... Pw(@lG, 4,2) a-t 
Prior ^... | _--- Likelihood 
mere 
"— 高 质量 逻辑 规则 知识 图 谱 
2, ~ pe, (Zil6, q, a) g 


20 RNNLogic 的 模型 结构 

此 外 ， 针 对 小 样本 (few-shot) 知 识 图 谱 推 理 问题 ，Huang 等 0 提出 了 连接 子 
图 推理 器 方法 (Connection Subgraph Reasoner, CSR), 将 小 样本 知识 推理 转化 为 归 
纳 推理 问题 。 该 方法 不 需要 预 训练 环节 ， 可 以 直接 对 目标 少 镜头 任务 进行 预测 。 
CSR 设计 了 一 种 新 的 基于 图 神经 网 络 的 编码 器 -解码 器 架构 ， 来 对 文 持 和 查询 三 
元 组 之 间 的 共享 连接 子 图 进行 建 模 , 并 设计 了 自 监督 预 训练 方案 以 重建 自动 采样 
的 连接 子 图 。 

针对 知识 图 谱 推 理 中 的 一 次 学 习 (one-shot) 问 题 ，Du SU's JE HH T 
CogKR(Cognitive Knowledge Graph Reasoning) 方 法 ,该 方法 包含 摘要 和 推理 两 个 
模块 。 摘要 模块 总 结 给 定 实例 的 基本 关系 , 推理 模块 则 根据 摘要 模块 总 结 的 关系 
进行 推理 。 在 摘要 模块 中 , 利用 GNN 生成 的 实体 对 谍 入 表示 获取 实体 对 的 关系 。 
在 推理 模块 中 ，CogKR 借鉴 认 知 科学 中 的 双 过 程 理 论 ， 建 立 了 两 个 系统 ， 用 于 
构建 认 知 图 以 存储 检索 到 的 信息 和 推理 结果 。 系 统 1 为 迭代 协调 检索 系统 ,可 以 
直观 地 收集 推理 相关 证 据 ， 系 统 2 为 推理 系统 ， 对 收集 的 信息 进行 关系 推理 。 认 


知 图 的 结构 信息 使 模型 能 够 聚合 来 自 多 个 推理 路 径 的 证 据 , 还 能 以 图 的 形式 给 出 
推理 过 程 的 解释 。 最 后 , 使 用 强化 学 习 方法 将 图 形 结构 建 模 转 化 为 策略 优化 问题 ， 
并 利用 REINFORCE 算法 029 进 行 策略 优化 。 

总 的 来 说 ， 此 类 方法 的 效率 和 精度 都 比较 高 ， 也 有 具备 一 定 的 可 解释 性 。 但 由 
于 利用 神经 网 络 学 习 规则 ， 也 在 一 定 程度 上 引入 了 不 可 解释 因素 。 表 6 给 出 了 基 
于 神经 网 络 和 规则 的 推理 方法 的 相关 信息 。 


7 比较 与 分 析 


从 基于 归纳 逻辑 编程 的 推理 方法 、 基 于 概率 图 模型 和 规则 的 推理 方法 、 基 于 
拒 入 表示 和 规则 的 推理 方法 到 基于 神经 网 络 和 规则 的 推理 方法 的 发 展 , 体现 了 基 
于 规则 的 知识 图 谱 推 理 方法 的 不 断 改进 和 完善 。 总 的 来 看 , 四 类 方法 的 性 能 是 递 
进 提升 的 , 但 是 效率 、 可 解释 性 和 可 迁移 性 等 性 能 方面 ,不 同类 别 的 方法 及 其 子 
方法 各 有 优 缺 点 。 

推理 精度 。 知 识 图 谱 推理 的 主要 评价 指标 包括 平均 倒数 秩 (Mean Reciprocal 
Rank, MRR). Bi k 次 命中 正确 预测 结果 的 比例 Hit@k(k=1,3,10) 和 准确 度 召 回 率 
曲线 AUC-PR 等 ， 式 21 和 式 22 给 出 了 指标 MRR 和 Hit@k 的 计算 公式 : 


re = xL Y >j =} (21) 
ieT,, 


Hit (à) k = n {Z| rank; < k |+1| rank? < k}, Q2) 


其 中 7 表示 测试 集 事 实数 量 ，rank; M rank; 分 别 表示 头 实体 推理 和 尾 实体 推理 
的 排名 ，7[P] 为 指示 函数 ， 条 件 P 成 立 则 返回 1， 否 则 返回 0。 综 合 参考 文献 给 
出 的 实验 结果 ， 汇 总 了 本 文 介绍 的 方法 在 经 典 的 知识 图 谱 推理 数据 集 
FB15SK-2370201 上 ， 执 行 链 路 预测 任务 的 实验 结果 ， 如 表 7 所 示 。 其 中 ， 未 使 用 
相关 数据 集 、 未 采用 上 述 指标 、 在 实验 中 对 数据 集 进 行 了 划分 处 理 或 只 针对 某 项 
任务 (如 实体 预测 ) 的 ， 表 格 将 其 留 空 ， 只 在 FB15K 数据 集 ( 未 去 掉 反 向 关系 ) 进 行 
过 实验 的 ,在 对 应 指标 下 方 用 横 线 标记 ， 选 取 了 数据 集 的 few-shot 子 集 的 ， 在 对 
应 指标 下 方 用 波浪 线 标记 。 早期 的 部 分 方法 由 于 没有 在 基准 数据 集 上 实验 , 后 续 
研究 中 也 较 难 复 现 ， 因 此 未 能 给 出 实验 数据 。 从 表 7 中 不 难看 出 ， 基 于 神经 网 络 
和 规则 的 知识 图 谱 推理 的 准确 度 总 体高 于 其 他 三 类 方法 。 

推理 效率 。 基 于 归纳 逻辑 编程 的 推理 方法 中 ,基于 一 阶 归纳 学 习 的 方法 的 计 
算 复 杂 度 随 着 规则 数量 指数 上 升 ,在 中 大 规模 的 知识 图 谱 中 效率 较 低 : 基于 关联 
规则 挖掘 的 方法 由 于 需要 规则 遍历 ， 难 适用 于 在 大 型 知识 图 谱 ; 基于 关系 路 径 采 
样 的 方法 相 比 前 两 类 方法 , 效率 有 明显 提升 , 可 以 用 于 在 大 规模 知识 图 谱 中 学 习 
规则 以 用 于 推理 。 基 于 概率 图 模型 和 规则 的 推理 方法 ， 由 于 涉及 复杂 的 搜索 和 概 
率 计 算 ， 导 致 其 整体 效率 都 比较 低 ， 大 多 难以 应 用 于 大 规模 知识 图 谱 。 基 于 藤 入 
表示 和 规则 的 推理 方法 使 用 表示 学 习 方法 缓解 了 原 有 的 搜索 、 遍历 、 采 样 等 流程 
带 来 的 耗 时 ， 因 此 比 前 两 类 方法 的 推理 效率 更 高 ， 其 中 ， 由 于 占 主导 地 位 的 技术 
不 同 , 规则 艇 入 表示 学 习 的 方法 效率 高 于 和 能 入 表示 与 规则 相互 增强 的 方法 。 最 后 ， 
基于 神经 网 络 和 规则 的 推理 方法 效率 显著 优 于 前 三 类 方法 。 


d 6 基于 神经 网 络 和 规则 的 推理 方法 的 相关 信息 
分 类 特点 经 典 方法 年份 代码 地 址 不 足 
、 1 LAN 2019 https://github.com/wangpf3/LAN . x " 
Hx H.-Hl H Z^ Wal £x. He Hn ge 、 T 
Ves KERFI AGRUM 提升 神 经 网 络 RAF BUR 能 力 u 利 GRAFT-Nets 2019 https://github.com/OceanskySun/GraftNet 没有 AB m n HEAR 
规则 改进 神经 网 络 用 原始 观察 到 的 三 元 组 和 一 些 预 定义 规则 推断 的 三 元 VN 2020 i 构 和 参数 揭示 规 
建 模 的 方法 组 或 规则 。 规 则 指导 神经 网 络 训 练 ， 添 加 的 三 元 组 作 pLogicNet 2019 https://github.com/DeepGraphLearning/pLogicNet 律 ， 未 能 改变 神经 
= 为 增 广 数据 集 ， 提 升 神经 网 络 可 解释 性 pGAT 2020 https://github.com/Harsha2399/pGAT 网 络 的 “ 黑 盒 性质 
= ExpressGNN 2020 https://github.com/expressGNN/ExpressGNN 
"T NTP 2017 / 规则 搜索 精度 和 效 
N 基于 定 ”以 演 经 推理 逻辑 语言 为 基础 ， 利 用 递 ! ew m 
ns ZS T AE 以 演 推理 逻辑 a Fi Prolog 为 基础 ， 利 用 匹配 算 GNTP 2019 ——Á 率 难 兼顾 ， 是 一 种 
e 理 证 明 ”法 与 神经 网 络 执行 知识 推理 ， 提 供 可 解释 路 径 演绎 推理 方法 ， 无 
CTP 2020 https://github.com/uclnlp/ctp E n EE AIT TT 
e 法 发 现 新 规则 
LO 将 关系 定义 为 二 维和 矩阵, 用 和 矩阵 乘法 来 表示 多 跳 推理 ， TensorLog — 2016 btps/ithubcom/TeamCohen/TensorLog 矩阵 化 依赖 于 嵌入 
= 基于 AB 并 利 用 循环 神 经 网 络 来 模拟 规则 推理 > HJ 以 实 现 规 则 Neural LP 2017 https://github.com/fanyangxyz/Neural-LP 表示 方法 , 鲁 棒 性 
AS H 
CN 阵 乘 法 参数 和 规则 结构 的 同步 学 习 , 推理 过 程 更 清晰 ,可 解释 DRUM 2019 https://github.com/alisadeghian/DRUM 不 强 , 对 非 链 式 规 
ce 性 更 强 Num-Neural 2020 i 则 的 学 习 能 力 不 强 
CN 
5. 网 络 辅 NLIL 2020 https://github.com/gblackout/NLIL 
» NLM 2019 https://sites.google.com/view/neural-logic-machines 
: 助 规则 学 习 
e GCR 2021 / 
JA YA r . 
C d 利用 图 神经 网 络 、 循 环 神经 网 络 进行 归纳 式 逻辑 规则 。 Sra —— 2020 We 
UM x JR 5 r " i. CoMPILE 2021 _ https://github.com/TmacMai/CoMPILE Inductive Knowledge Graph 
T a $3, 进而 执 行 推理 预测 。 图 神经 网 络 能 够 对 节点 和 TACT 2021 https://github.com/MIRALab-USTC/KG-TACT T " 
O 基于 神 ”关系 进行 优化 计算 ， 且 考虑 了 节点 的 隐 层 信息 、 邻 居 ConGLR 2022 , 利用 神经 网 络 学 习 
经 归 纳 节 点 信 息 和 结构 信 息 适用 于 知 识 Eie 的 规则 学 习 。 SNRI 2022 https://github.com/Tebmer/SNRI 规则 , 5| 入 了 一 定 
学 习 “循环 神经 网 络 在 建 模具 有 顺序 信息 的 数据 中 表现 出 。 BERTRL — 2022 htpsyeithubeomlzhwl2/BERTRL 的 不 可 解释 因素 
" 、 3545 CBGNN 2022 / 
色 ， 适 用 于 知识 图 谱 推 理 
RPC-IR 2021 / 
RNNLogic 2021 https://github.com/DeepGraphLearning/RNNLogic 
CSR 2022 https://github.com/snap-stanford/csr 
CogKR 2020 https://github.com/THUDM/CogKR 


de 7 基于 规则 的 知识 图 谱 推理 方法 在 FB15k-237 数据 集 上 的 链 路 预测 准确 度 比较 


类 别 方法 MRR Hit@1 Hit@3 Hit@10  AUC-PR 
AMIE+ 0.292 0.174 0.409 
RuleN / 0.182 0.420 
C-NN 0.296 0.222 0.446 
FEF HANE 
nm AnyBURL 0.31 0.233 
iik SAFRAN 0.389 0.298 0.537 
Rein-Any 0.527 
0.354 0.267 
BURL 
基于 概率 图 
MLN 0.098 0.067 0.103 0.16 
模型 和 规则 
KALE 0.523 0.383 0.616 0.762 
m RUGE 0.768 0.703 0.815 0.865 
FEF RAR ans NE 
= TARE 0.781 0.721 0.839 0.902 
示 和 规则 
C-NNE-A 0.831 0.874 
0.803 0.761 
ER 
LAN 0.394 0.302 0.446 0.566 
VN 0.463 0.345 0.526 0.701 
pLogicNet 0.332 0.237 0.367 0.524 
pGAT 0.457 0.377 0.494 0.609 
Neural LP 0.24 
Num-Neur 
0.259 
al LP 
NLIL 0.25 
DRUM 0.343 0.255 0.516 
基于 神经 网 GCR 0.492 0.490 
络 和 规则 GralL 0.641 0.847 
CoMPILE 0.676 0.855 
TACT 0.741 0.830 
ConGLR 0.683 0.857 
SNRI 0.718 0.867 
BERTRL 0.620 0.695 
RPC-IR 0.676 0.872 
CBGNN 0.975 0.963 
RNNLogic 0.349 0.258 0.385 0.533 
CSR 0.624 0.479 0.786 


可 解释 性 。 从 可 解释 性 角度 评价 ， 基于 归纳 逻辑 编程 的 推理 方法 的 可 解释 性 
最 强 , 基于 概率 图 模型 和 规则 的 推理 方法 由 于 涉及 概率 估计 和 模糊 推理 ,其 可 解 
释 性 相对 次 之 。 基 于 组 入 表示 和 规则 的 推理 方法 以 及 基于 神经 网 络 和 规则 的 推理 
方法 ， 引 入 了 不 可 解释 的 “ 黑 盒 ” 模 型 ， 对 可 解释 性 有 一 定 的 影响 ， 这 两 类 方法 
中 , 依赖 于 规则 学 习 进 行 推理 的 方法 的 可 解释 性 高 于 依赖 于 神经 网 络 建 模 或 骨 入 
表示 的 推理 方法 。 


可 迁移 性 。 可 迁移 性 是 指 模型 或 方法 运用 已 有 知识 来 学 习 新 知识 的 能 力 。 知 
识 图 谱 推 理 方法 的 可 迁移 性 , 本 文 将 其 理解 为 方法 在 运用 于 不 同 知 识 图 谱 时 的 额 
外 消耗 和 性 能 差别 。 总 的 看 ， 受 益 于 深度 网 络 的 灵活 性 和 适应 性 优势 ， 基 于 神经 
网 络 和 规则 的 推理 方法 的 可 迁移 性 最 强 , 其 次 是 基于 风 入 表示 和 规则 的 推理 方法 。 
基于 归纳 逻辑 编程 的 推理 方法 、 基 于 概率 图 模型 和 规则 的 推理 方法 的 可 迁移 性 相 
对 较 差 ， 因 为 这 两 类 方法 面 对 不 同 的 知识 图 谱 需 要 重新 尽 可 能 地 学 习 更 多 规则 。 
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通过 与 嵌入 表示 、 神 经 网 络 等 方法 模型 相 结合 ， 基 于 规则 的 知识 图 谱 推理 方 
法 已 逐渐 改善 了 过 往 推理 速度 慢 、 计 算 复杂 度 高 、 表 达能 力 有 限 等 问题 ， 在 大 规 
模 知识 图 谱 的 推理 中 展现 出 良好 的 性 能 。 然而 , 尽管 基于 规则 的 方法 具有 相对 较 
强 的 可 解释 性 、 可 靠 性 和 泛 化 能 力 ， 其 推理 的 精度 、 效 率 相 比 部 分 最 先进 的 、 单 
纯 基 于 神经 网 络 的 推理 方法 仍 有 差距 , 在 未 来 研究 中 ,此 类 推理 方法 仍然 面临 许 
多 新 挑战 ， 需 要 在 未 来 的 研究 中 加 以 解决 ， 主 要 包括 以 下 7 个 方面 : 

规则 学 习 效 率 。 从 大 规模 知识 图 谱 中 学 习 规则 是 困难 的 。 虽然 研究 者 们 通过 
结合 机 器 学 习 、 深 度 学 习 、 强 化 学 习 等 技术 方法 , 已 经 大 大 改进 了 规则 学 习 的 效 
率 , 但 目前 绝 大 多 数 规则 学 习 方 法 依赖 于 知识 图 谱 的 路 径 搜 索 。 而 路 径 的 数量 随 
着 实体 和 关系 的 数量 的 增加 ， 呈 现 指数 上 升 的 趋势 。 因 此 ， 需 要 研究 如 何 采 取 有 
效 的 抽样 策略 减少 路 径 搜 索 量 , 或 者 建立 预 训练 模型 ,通过 融合 先 验 信息 、 文 本 
言 轧 、 语 料 库 来 降低 搜索 复杂 度 。 同 时 ， 如 何 将 规则 表示 为 更 容易 被 神经 网 络 接 
受 的 形式 ， 进 而 提升 规则 学 习 和 推理 效果 ， 也 需要 进一步 探索 。 

规则 质量 评估 。 早 期 的 规则 质量 评估 ,主要 通过 在 封闭 世界 假设 下 计算 置信 
度 、 文 持 度 等 指标 实现 ， 但 这 些 指标 在 数据 缺失 的 情况 下 难以 计算 。 之 后 ， 
Galarraga 等 [提出 了 部 分 完整 性 (PCA) 等 假设 ， 通 过 放松 置信 度 计 算 公式 中 
对 负 实 例 中 的 要 求 来 缓解 数据 缺失 问题 ， 但 该 假设 也 只 是 折 中 方案 。 因 此 ， 如 何 
设计 更 加 合理 、 可 行 的 规则 评价 指标 ， 需 要 在 下 一 步 的 工作 中 加 以 关注 。 另 一 方 
面 , 规则 学 习 的 目的 是 为 了 推理 , 规则 的 质量 如 何 影响 知识 图 谱 推理 的 精度 这 一 
问题 ， 也 值得 进行 系统 深入 的 研究 , 因为 有 时 错误 的 规则 也 可 能 推理 出 正确 的 答 
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可 解释 性 。 基 于 规则 的 知识 图 谱 推理 方法 的 最 大 优势 在 于 其 可 解释 性 ， 这 赋 
了 予 了 其 在 实际 应 用 中 的 安全 性 、 可 靠 性 。 以 规则 表示 为 辅助 ， 嵌 入 表示 或 神经 建 
模 主 导 的 推理 方法 , 在 效率 方面 优 于 利用 神经 网 络 和 内 入 表示 辅助 规则 学 习 的 推 
理 方法 , 但 不 具备 可 解释 性 。 神 经 网 络 和 艇 入 表示 辅助 规则 学 习 的 方法 将 规则 转 
换 到 向 量 空间 中 进行 推理 , 但 这 些 向 量 或 矩阵 的 中 间 表 示 只 有 被 正确 解释 , 才能 
达成 真正 的 “模型 可 解释 ”。 未 来 可 以 党 试 将 推理 步骤 嵌入 模型 以 挖掘 理解 规则 
的 中 间 表 示 。 男 一 方面 ， 可 以 利用 可 解释 的 机 器 学 习 方 法 集成 规则 和 嵌入 表示 ， 
以 在 保证 可 解释 性 的 同时 尽量 提升 效率 。 

基准 数据 集 。 当 前 知识 图 谱 推 理 领 域 常用 的 数据 集 ， 如 FB15K-237、 
NELL-99502、WN18R023 等 ， 都 是 通过 划分 训练 集 、 测 试 集 、 验 证 集 ， 以 评价 
比较 有 监督 知识 图 谱 推 理 方法 的 性 能 。 当 前 , 多 数 基 于 规则 的 知识 图 谱 推 理 方法 
的 性 能 好 坏 ， 也 是 在 上 述 数据 集 上 进行 评判 的 。 但 这 些 数据 集 无 法 完全 准确 地 表 
达 和 体现 所 有 的 内 在 规则 和 逻辑 模式 , 有 些 错误 或 者 元 余 的 规则 也 可 能 推出 正确 
的 结果 , 这 对 结果 可 解释 性 会 产生 误导 式 的 影响 , 若 将 其 应 用 在 一 些 重要 领域 中 ， 
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势必 会 导致 严重 后 果 。 因 此 ,未 来 应 提出 包含 不 同 预定 义 规 则 或 逻辑 模式 的 基准 
数据 集 ， 以 同时 满足 规则 学 习 和 知识 图 谱 推 理性 能 的 验证 。 

EE uu ul 目前 , 大 多 数 基于 规则 的 推理 方法 研 
究 都 局 限于 静态 识 图 谱 中 ， 只 有 少数 工作 ， 如 Liu 等 9 提出 的 Tlogic 研究 了 
0， 谱 中 进行 推理 。 时 序 知识 图 谱 推 理 需要 挖掘 时 间 依 赖 
规则 或 者 动态 规则 ， 所 以 可 尝试 将 将 RNN、LSTM 等 能 够 建 模 时 间 信 息 的 模 
型 与 现 有 的 规则 学 习 方 法 相 融 合 ， 以 学 习 到 时 序 知识 图 谱 的 规则 。 多 模 态 知识 图 
谱 包含 文本 描述 、 时 序 特 征 、 图 像 信息 等 多 模 态 Bd, o K 
示 及 学 习 难 度 更 大 。 因 此 ， 下 一 步 要 研究 利用 现 有 的 多 模 态 学 习 模型 ， 通 过 数据 
融合 、 统 一 表示 等 方式 ， 实 现 多 模 态 知识 图 谱 自 动 规则 挖掘 。 

小 样本 和 零 样本 知识 图 谱 规 则 发 现 。 对 于 few-shot、one-shot 和 zero-shot 的 
情景 ， 规 则 学 习 更 加 困难 ,特别 是 高 阶 的 规则 更 加 难以 学 习 ， 这 对 推理 的 精度 会 
产生 较 大 影响 。 未 来 主要 有 两 种 解决 思路 , 一 是 过 融合 附加 信息 增强 少 样本 知识 
的 表示 能 力 ， 从 中 学 习 更 高 质量 的 规则 ， 二 是 以 现 有 的 高 质量 知识 图 谱 为 先 验 ， 
利用 其 高 质量 样本 来 辅助 规则 学 习 和 推理 。 

将 规则 融入 大 语言 模型 。LLM 在 运用 于 智能 问答 、 推 荐 系统 等 知识 推理 领 
域 时 ， 容 易 受 到 信息 冲突 、 信 息 混 淆 等 因素 的 影响 ， 导 致 其 在 面 对 长 尾 场景 时 可 
靠 性 不 够 稳定 00， 存 在 事实 欢 骗 性 风险 。 根 本 原因 在 于 其 在 任务 中 “无 意识 ” 
地 利用 知识 ， 缺 乏 正 确 合理 的 引导 。 此 外 ， 在 领域 知识 的 问答 和 推理 中 ，LLM 
也 面临 着 因数 据 稀 玻 而 导致 的 “知识 匮乏 ”问题 。 因 此 ， 如 何 将 知识 图 谱 和 规则 
融入 LLM 之 中 ， 在 训练 前 、 训 练 中 和 训练 后 对 预 训练 语言 模型 进行 增强 ， 也 是 
未 来 研究 中 具有 前 景 和 潜力 的 一 个 方向 。 
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